GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.c MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall again GPDB透明加密 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持

Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented DBMS Components 数据库管理系统组成图 Hector Garcia-Molina /Jeffrey D

机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则：100%符合DB标准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的 SQL 标准 Ø ACID 事务 IvorySQL开源数据库社区 PART 03 PieCloudDB 架构特点 IvorySQL开源数据库社区 数仓虚拟化：可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master 高可用/可靠存储 o 支持跨多数据中心复制数据 • 唯一真理 o 全局只需要存储一份数据，通过共享存储来实现数据共享，避免拷 贝和维护多份数据副本 IvorySQL开源数据库社区 事务 • ACID 支持两种隔离级别：读已提交、可重复读 • 扩展性 事务管理器无单点性能瓶颈 • 隔离性 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 事务管理器支持对各类基础设施故障进行自动容错 IvorySQL开源数据库社区 安全性增强 • 云原生安全 o 传输层加密 o 缓存数据加密 • 存储安全 o 元数据持久化存储 o 用户数据多副本加密储存 • 计算安全 o 集群失效不影响用户数据 o ACID 保证 IvorySQL开源数据库社区 PART 04 总结 IvorySQL开源数据库社区 PieCloudDB 核心技术优势 ü 以云计算架构为设计基础 实现云上存算分离 · eMPP：elastic

传统BI 地理信息 P i e C l o u d D B 设 计 原 则 ： 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL 标准 Ø ACID 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential 数仓虚拟化：可将多个数仓统一整合到一个高可用的云虚拟数仓 元数据 Master 全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 Confidential 安全性增强 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 核心技术优势 ü 以云计算架构为设计基础 实现云上存算分离

2 Distributed Transaction 3.2.1 Background Database transactions should satisfy the features of ACID (atomicity, consistency, isolation and dura‐ bility). • Atomicity guarantees that each transaction database has provided perfect native ACID support, it can become an obstacle to the system performance under distributed situations. How to make databases satisfy ACID features un‐ der distributed situations transactions based on XA standard just as local transactions. XA standard can strictly guarantee ACID features of transactions. That guarantee can be a double‐edged sword. It is more proper in the implementation

OFFSET ? 3.1. 数据分片 53 Apache ShardingSphere document, v5.0.0-beta 3.2 分布式事务 3.2.1 背景 数据库事务需要满足 ACID（原子性、一致性、隔离性、持久性）四个特性。 • 原子性（Atomicity）指事务作为整体来执行，要么全部执行，要么全不执行。 • 一致性（Consistency）指事务应确保数据从一个一致的状态转变为另一个一致的状态。 应用场 景要求对多个服务的访问及其相对应的多个数据库资源能纳入到同一个事务当中，分布式事务应运而生。 关系型数据库虽然对本地事务提供了完美的 ACID 原生支持。但在分布式的场景下，它却成为系统性能 的桎梏。如何让数据库在分布式场景下满足 ACID 的特性或找寻相应的替代方案，是分布式事务的重点 工作。 本地事务 在不开启任何分布式事务管理器的前提下，让每个数据节点各自管理自己的事务。它们之间没有协调以 协议。 基于 XA 协议实现的分布式事务对业务侵入很小。它最大的优势就是对使用方透明，用户可以像使用本地 事务一样使用基于 XA 协议的分布式事务。XA 协议能够严格保障事务 ACID 特性。 严格保障事务 ACID 特性是一把双刃剑。事务执行在过程中需要将所需资源全部锁定，它更加适用于执 行时间确定的短事务。对于长事务来说，整个事务进行期间对数据的独占，将导致对热点数据依赖的业 务系统并

approaching equal hotness status” Form HBaseCon 2015 We want more ! SQL + Transaction(ACID) TiDB Features ● Consistent distributed transactions ○ TiDB makes your application code simple worker ○ BigTable tablet server ○ GFS chunkserver Percolator ● Transactions ○ ACID semantics ○ Snapshot-Isolation (too weak for RDBMS) ○ must maintain locks explicitly Percolator’s

元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 透明加密 透明加密的定义 • 目标 • 加密用户数据 • 使用高强度加密算法

3 Distributed Transaction 4.3.1 Background Database transactions should satisfy the features of ACID (atomicity, consistency, isolation and dura‐ bility). • Atomicity guarantees that each transaction database has provided perfect native ACID support, it can become an obstacle to the system performance under distributed situations. How to make databases satisfy ACID features un‐ der distributed situations transactions based on XA standard just as local transactions. XA standard can strictly guarantee ACID features of transactions. That guarantee can be a double‐edged sword. It is more proper in the implementation

LIMIT 分页，无需子查询： SELECT * FROM t_order o ORDER BY id LIMIT ? OFFSET ? 4.3 分布式事务 4.3.1 背景 数据库事务需要满足 ACID（原子性、一致性、隔离性、持久性）四个特性。 • 原子性（Atomicity）指事务作为整体来执行，要么全部执行，要么全不执行； • 一致性（Consistency）指事务应确保数据从一个一致的状态转变为另一个一致的状态； 应用场 景要求对多个服务的访问及其相对应的多个数据库资源能纳入到同一个事务当中，分布式事务应运而生。 关系型数据库虽然对本地事务提供了完美的 ACID 原生支持。但在分布式的场景下，它却成为系统性能的 桎梏。如何让数据库在分布式场景下满足 ACID 的特性或找寻相应的替代方案，是分布式事务的重点工 作。 本地事务 在不开启任何分布式事务管理器的前提下，让每个数据节点各自管理自己的事务。它们之间没有协调以 协议的分布式事务。XA 协议能够严格保障事务 ACID 特性。 严格保障事务 ACID 特性是一把双刃剑。事务执行在过程中需要将所需资源全部锁定，它更加适用于执行 时间确定的短事务。对于长事务来说，整个事务进行期间对数据的独占，将导致对热点数据依赖的业务系 统并发性能衰退明显。因此，在高并发的性能至上场景中，基于 XA 协议的分布式事务并不是最佳选择。 柔性事务 如果将实现了 ACID 的事务要素的事务称为刚性事务的话，那么基于