深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 binary) Executeor 现有解决方案 GPDB查询执行流程 Query Planer Data (plain) 现有解决方案 GPDB查询执行流程 Query Planer Executeor Data (plain) Index pruning optimizing 现有解决方案 GPDB查询执行流程 Query Results Planer Executeor pgcypto加密流程 key Data (Encrypted) pgcypto Data (plain) 临时数据 现有解决方案 pgcypto加密流程 Planer Executeor key Data (Encrypted) pgcypto Data (plain) Data (Encrypted) 临时数据 现有解决方案 pgcypto解密流程 Query Planer

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 7.4.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 整体架构 . . . . . . . 3 路由过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 7.5.4 影子判定流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 DML 语句 . . . . . . . 实现动机 配置的简化与一体化是行表达式所希望解决的两个主要问题。 在繁琐的数据分片规则配置中，随着数据节点的增多，大量的重复配置使得配置本身不易被维护。通过 行表达式可以有效地简化数据节点配置工作量。 对于常见的分片算法，使用 Java 代码实现并不有助于配置的统一管理。通过行表达式书写分片算法，可 以有效地将规则配置一同存放，更加易于浏览与存储。 4.2. 数据分片 25 Apache

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.5.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 整体架构 . . . . . . . 3 路由过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.6.4 影子判定流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 DML 语句 . . . . . . . 实现动机 配置的简化与一体化是行表达式所希望解决的两个主要问题。 在繁琐的数据分片规则配置中，随着数据节点的增多，大量的重复配置使得配置本身不易被维护。通过 行表达式可以有效地简化数据节点配置工作量。 对于常见的分片算法，使用 Java 代码实现并不有助于配置的统一管理。通过行表达式书写分片算法，可 以有效地将规则配置一同存放，更加易于浏览与存储。 4.3. 数据分片 30 Apache

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 7.5.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 整体架构 . . . . . . . 3 路由过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 7.6.4 影子判定流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 DML 语句 . . . . . . . 实现动机 配置的简化与一体化是行表达式所希望解决的两个主要问题。 在繁琐的数据分片规则配置中，随着数据节点的增多，大量的重复配置使得配置本身不易被维护。通过 行表达式可以有效地简化数据节点配置工作量。 对于常见的分片算法，使用 Java 代码实现并不有助于配置的统一管理。通过行表达式书写分片算法，可 以有效地将规则配置一同存放，更加易于浏览与存储。 4.3. 数据分片 30 Apache

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.1 处理流程详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 整体架构 . . . . . . . 3 路由过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 7.6.4 影子判定流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 DML 语句 . . . . . . . 实现动机 配置的简化与一体化是行表达式所希望解决的两个主要问题。 在繁琐的数据分片规则配置中，随着数据节点的增多，大量的重复配置使得配置本身不易被维护。通过 行表达式可以有效地简化数据节点配置工作量。 对于常见的分片算法，使用 Java 代码实现并不有助于配置的统一管理。通过行表达式书写分片算法，可 以有效地将规则配置一同存放，更加易于浏览与存储。 4.3. 数据分片 30 Apache

数据库服务器器 Master Segment 1 Segment 2 Segment n … SQL 存储过程 结果集 String 聚集 psql … 执⾏行行流程 2017.thegiac.com External Sources Load, streaming, etc. Network Interconnect ... . dispatch Segment Servers Query processing & data storage SQL Massively Parallel Processing ⼯工作原理理 2017.thegiac.com External Sources Load, streaming, etc. Network Interconnect ... Input validation & pre-processing SQL Massively Parallel Processing ⼯工作原理理 2017.thegiac.com C API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函

版本，以便成功执行备份和 还原操作。 此外，代理还支持： ■ 验证备份。 ■ 查询备份和还原。 ■ 从目录库文件中删除备份信息。 ■ 重定向还原。 1 NetBackup for SQLite 工作流程 代理创建存在单个数据库文件的卷的快照。适用于 Windows 的卷影复制服务 (VSS) 或适用于 Linux 的逻辑卷管理器 (LVM) 创建 SQLite 数据库的快照。 代理装入快照，将文件复制到 DOC5332 NetBackup for SQLite 的前提条件 确保满足以下前提条件： ■ NetBackup 安装在主服务器、介质服务器和客户端上，并且可以正常工作。 ■ SQLite 数据库安装在客户端上，并且可以正常工作。 注意：如果 NetBackup 从之前的版本升级到 10.1 或更高版本，则 NetBackup 客户 端也必须升级到相应的 NetBackup 版本。 NetBackup backup 命令使用 -S、-P、-d 和 -s 作为必需参数启动备份操作。对 于 Linux LVM 配置系统，参数 -z 是必需参数。 3 图 3-1 NetBackup for SQLite 备份工作流程 连接到 SQLite 数据库 并准备创建快照 存储单元 NetBackup 主服务器 NetBackup 介质服务器 NetBackup XBSA 快照 VSS/LVM SQLite

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 891 11.3.3 SQL 优化流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 支持将表或列的字符集从 latin1 修改为 utf8/utf8mb4 #34008 • TiKV – 提升引入内存悲观锁后 CDC 旧数据的命中率 #12279 – 健康检查可以检测到无法正常工作的 Raftstore，使得 TiKV client 可以及时更新 Region Cache #12398 – 支持设置 Raft Engine 的内存限制 #12255 – TiKV 自动检测和删除损坏的 日期和时间类型 Y Y Y Y Y Y Y Y 字符串类型 Y Y Y Y Y Y Y Y JSON 类型 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 控制流程函数 Y Y Y Y Y Y Y Y 字符串函数 Y Y Y Y Y Y Y Y 数值函数与操作符 Y Y Y Y Y Y Y Y 日期和时间函数 Y Y Y Y Y Y Y Y 位函数和操作符

的版本相同，以便成功执行备份和还原操 作。 此外，代理还支持： ■ 验证备份。 ■ 查询备份和还原。 ■ 从目录库文件中删除备份信息。 ■ 重定向还原。 1 NetBackup for SQLite 工作流程 代理从 nbsqlite.conf 文件读取参数，然后启动操作。nbsqlite.conf 文件包含 必须在运行相应操作之前设置的参数。 请参见第 13 页的“nbsqlite.conf 配置文件”。 ■ 已在主服务器、介质服务器和客户端上安装 NetBackup 8.2 或更高版本，并且 可以正常工作。 ■ 确保 SQLite 代理和 NetBackup 的版本相同。如果将 NetBackup 升级到更高版 本，则还必须升级代理版本。 ■ SQLite 数据库安装在客户端上，并且可以正常工作。 NetBackup for SQLite 代理 的安装后要求 安装之后 ■ (Windows) 命令行上提供，但命令行上 提供的参数优先。 注意：确保 SQLite 代理和 NetBackup 的版本相同，以便成功执行备份和还原操 作。 4 图 4-1 NetBackup for SQLite 备份工作流程 连接到 SQLite 数据库 并准备创建快照 存储单元 NetBackup 客户端 NetBackup SQLite 代理 NetBackup 主服务器 NetBackup 介质服务器

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 468 9.3.3 SQL 优化流程 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数值类型 Y Y Y Y Y Y 日期和时间类型 Y Y Y Y Y Y 字符串类型 Y Y Y Y Y Y JSON 类型 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 控制流程函数 Y Y Y Y Y Y 字符串函数 Y Y Y Y Y Y 数值函数与操作符 Y Y Y Y Y Y 日期和时间函数 Y Y Y Y Y Y 位函数和操作符 Y Y Y Y Y Y Cast nbproc 64 # 在后台运行时创建的进程数。在启动多个进程转发请求时， �→ 确保该值足够大，保证 HAProxy 不会成为瓶颈。 daemon # 让 HAProxy 以守护进程的方式工作于后台， �→ 等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。 defaults # 默认配置。 log global # 日志继承全局配置段的设置。 retries