来满足其业务需求。 ，。 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构，计算节点不存储用户数据，是无状态的。当计算节点发生故障 时，PieCloudDB 会自动快速发现并调度新的节点蔡代故障节点，同时也会在后台尝试修复故障节点，从而保证 PieCloudDB 服务的高可用性。 pieCloudDB 的存鱼引擎，支持对象存储、HDF5、NAS等分布式存储，数据的完整性、一致性和可靠性等由分布式存 的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-D5 等测试，实现 了包括聚集下准、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 接操作需要处理的数据量，使得查 dDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化，生成高效的查询计划。 此外，PieCloudDB 兼容 ORCA 优化器 (DORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划) 。 * 原生多租户支持 PieCloudDB

集群中计算节点的数量和虚拟数仓的数量，用最适合的资源量来满足其业务需求。 PieCloudDB 实现了元数据、计算、存储等三层架构，计算节点不存储用户数据，是无状态的。当计算节点发生故障 时，PieCloudDB 会自动快速发现并调度新的节点替代故障节点，同时也会在后台尝试修复故障节点，从而保证 PieCloudDB 服务的高可用性。 PieCloudDB 的存储引擎，支持对象存储、HDFS、NAS等分布式存储，数据的完整性、一致性和可靠性等由分布式存 完整支持 TPC-H 和 TPC-DS 等测试，实现 了包括聚集下推、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 户对 SQL 进行优化，生成高效的查询计划）。 PieCloudDB 通过独 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PieCloudDB PieCloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器， 可以帮助用户对SQL进行优化，生成高效的查询计划。 湖仓一体化分析 PieCloudDB 支持统一的资源管控，通过云原生存储引擎支持多种存储模型，用分布式计算引擎和数据接口来实现湖

Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离，元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩，模块间接口统一 每一组计算节点组成一个集群，多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract) 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行，通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送

的计算。 @2024 OpenPie. All rights reserved. OpenPie Confidential 分布式设计，保证可靠性 计算层： Ø eMPP：根据计算任务智能调度合适的资源，将⼀个单⼀计算 任务在⼤量独立的计算机上并⾏执⾏。 Ø 多租户，资源隔离。 Ø 弹性伸缩，支持多集群协同。 存储层： Ø 存算分离，存储独立扩展。 Ø ⾼可靠，支持跨多数据中⼼的灾备复制。 档的访问应建立严格的审批机制，对用于测试的⽣产数据要进⾏ 脱敏处理，严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储 引擎 业务系统 明⽂访问 其他请求 根据权限返回 KMS服务 传输加密 实时加解密 加密算法兼容 完备权限管控 计 算 层 透明 加密 满⾜等保合规要求 @2024 OpenPie πDataCS 增量数据同步 可视化ETL 结构化数据处理 非结构化数据处理 数据标准 数据权限体系 数据质量 数据资产目录 元数据统⼀管理 数据安全 离线计算 数据⾎缘 数据标准 实时计算 作业调度 数据交换 机器学习 数据API服务 运维管控 数据中台 数据 治理 和计算 丰富图表 多终端访问 炫酷⼤屏 自助实时BI 异常预警 数据 展示 可视化BI 销售线索分析 分析结果 落数据库

OpenPie Confidential PieCloudDB内核的下⼀步 • ⽤⼾数据存储 • 依赖计算需求优先级提供更多功能（dict page? Bloom filter?等等). • 分布式缓存和调度. • 等等. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • 优化器 • 功能更全、OLAP更友好、更加贴近云原⽣需求 功能更全、OLAP更友好、更加贴近云原⽣需求. • 计算引擎 • V1（正在开发中）: SIMD执⾏器和各种计算优化. 甚⾄依赖于云成本. • V2: Pipeline引擎. • V3: 计算引擎资源调度隔离 - 类似⼀个计算操作系统.

持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块，方便后续扩展 • 无历史包袱 加入我们！ • 官 网： https://www.openpie.com • 公 众 号 ：PieCloudDB | 拓数派 • 技术社群：扫码添加入群助手

n 支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在 EXPLAIN ANALYZE VERBOSE 执行结果中显示调度相关状态信息。 4 l 用户定义函数 UDF n 新增 janm_page_size_read，用以获取 Page 大小。 n 新增 janm_block_file_size_read，用以获取

materialization • Pipeline Engine、etc • 和JANM结合有大量可能的性能创新点. • 长远目标： • 赋能其他产品. • 赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体：仓衍生支持开源表格式 • 先读，Iceberg on

于 Cascades 模型的模块化查询优化器，帮助用户对 SQL 进行优化，生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT： Kafka 流数据导入支持，copy 性能大幅提升。 • 外部数据源的查询（实验性功能）： PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化：通过更加清晰的 UI 设计，为用户提供一体化的权限管理 • 注册选项增加：增加了手机注册选项，用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化： o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理，增强安全能力