⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏，极⼤的减少连接操作需要处理的数据量，使得查询性能显 著提升。在很多场景下经过严格的测试，聚集下推会取得百倍或千倍的性能提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器； Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 但是，经过处理⽆法识别特定个⼈且不能复原的除外。 • 《中国银⾏业“⼗⼆五”信息科技发展规则监管指导意见》中提出， 完善敏感信息存储与传输等⾼风险环节的控制措施，对数据、⽂ 档的访问应建立严格的审批机制，对用于测试的⽣产数据要进⾏ 脱敏处理，严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储

数据服务和存储服务，降 低了元数据访问的网络延迟，加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-D5 等测试，实现 了包括聚集下准、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 企业业务高弹性和敏汪性的需求。 pieCloudDB 打破了数据湖与数据仓库割裂的体系，架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合，帮助企业构建数据湖和数据仓库下合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper 《FDW) 模块，让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON，XML，Parquet以及 的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 * 多集群数据共享 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进行访问，避免了数据复制与移动的复杂性。此外，PieCloudDB 的云原生架构支持用户基于同一 份数据建

存储服务，降 低了元数据访问的网络延迟，加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-DS 等测试，实现 了包括聚集下推、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 业务高弹性和敏捷性的需求。 PieCloudDB 打破了数据湖与数据仓库割裂的体系，架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合，帮助企业构建数据湖和数据仓库融合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper （FDW）模块，让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON，XML， 突破了PC时代计算平台的限制，大胆探索云上计算平台的新可能。其云原生架构运用全新 eMPP 分布式 技术，在传统 MPP 数据仓库功能丰富和成熟稳定等优势的基础上，加入了众多的云原生特性。 PieCloudDB 通过统一元数据管理技术安全轻松地实现不同集群间的数据共享，使数据库中任何一个集群可以对数据 库内任何一份数据进行访问，避免了数据复制与移动的复杂性。此外，PieCloudDB 的云原生架构支持用户基于同一 份数

和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于Foundation 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎

i n g f o r N e w D i s c o v e r i e s 数 据 计 算 ， 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问

eMPP 分布式引擎 存储服务 透明数据加密 优化器 IvorySQL开源数据库社区 01 元数据管理 IvorySQL开源数据库社区 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog

i n g f o r N e w D i s c o v e r i e s 数 据 计 算 ， 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问

研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 (JANM) 存 储 统一 Catalog｜统一数据格式｜一份数据多引擎计算 Parquet πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） Orc … Mundo 元数据管理系统 计算引擎之PieCloudML（大模型）机器学习，更大模型多模机器学习数据计算 03. πDataCS 与龙蜥 大模型数据计算系统商业化入口 国家医疗健康大数据 （大模型）机器学习

其中，针对元数据，PieCloudDB 实现了元数据层全新的缓存机制，有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载，提高元数据访问的速度。 • 可观察性增强：可得到更多的查询时系统的统计信息，包括元数据管理、S3 等。 • Vacuum 优化：在元数据层通过快速过滤不需要 vacuum 的数据，从而实现 vacuum 加速。 • 存储引擎 简墨（JANM） 异常处理的优化： 避免各种异常情况下数据残留。

⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） Mundo元数据管理系统 统⼀Catalog 公有云 私有云 政务云 ⾏业云 信创云 • DataSharing 技术原⽣支持数据要素流转 • TimeTraveling 等技术有效组织数据配合⼤模型精调 @2024