rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code

企业简介 l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； l 拥有强⼤的数据库内核研发团队、数据科学团队和数字化 转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 2023 引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原⽣虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作 业领袖” 4月 冯雷被评为杭州市所有的独角兽和准独角兽企 业中唯⼀“年度创业⼈物” 打造⼤模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 转型产品及服务全景图」 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧⼭区政府“⼀事⼀议”支持政策获

大的运维和时间成本，且操作繁 琐。 木桶效应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖幸”整个集群的性能，导致查询速度变慢。 随卷时间的推移，业务的增长，企业往往需要在1-2年后 对集群增加计算节点，此时，无论新的计算节点性能如何好，集群总体性能都会受制于老的节点。因此真实生产环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 PieCloudDB，运用全新 eMPP (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚拟 化，提供云数仓智能化解决方案，助力企业建立以数据资产为核心的竞争整垒。 群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4

成本，且操作繁 琐。 木 桶 效 应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖垮”整个集群的性能，导致查询速度变慢。 随着时间的推移，业务的增长，企业往往需要在1-2年后 对集群增加计算节点，此时，无论新的计算节点性能如何好，集群总体性能都会受制于老的节点。因此真实生产环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 2. 计算节点： 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓，助力企业实现数据价值最大化，更好地赋能业务发展并走 向绿色，成为新一代AI数据计算基础设施的一个典范。 全面的 SQL 兼容度 多维度弹性扩缩容 高可用能力 高性能的数仓引擎 PieCloudDB 产品特性 PieCloudDB 高度兼容 SQL: 2016 标准，完全支持SQL: 1992标准、大部分的SQL: 1999和部分SQL: 2003标准（主要支

FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： Skipping (本地查询和远程读取） • 预聚集 • ...... 存储中⽴ • 公有云，私有云，混合云 • 对象存储 （数据共享，存算分离）按需付 费 • 也⽀持HDFS，NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全：“⼀份”数据， 避免数据不⼀致 • 将来Time Travel查询“回收站”数据 ⽤户数据查询效率优化 计算优化（各种功能特性持续优化中） • 很多复杂OLAP查询如果不是IO瓶颈，不会受制于它 • …... 计算引擎之优化器 PieCloudDB Optimizer 是⼀个基于eMPP架构的云原⽣分布式优化器，它 可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 • 云原生优化器 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集

驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和 计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》选为2019年度封面人物。（《数商周刊》报道） 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作

架构 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 核心架构特点 元数据服 务 eMPP分布式 引擎 存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 ， 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 数 据 计 算 ， 只 为 新 发 现 03 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问

数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的角度是隔离，同时具 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模 IvorySQL开源数据库社区 PieCloudDB 技术突破：数仓虚拟化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构，实现云上存储资源 与计算资源的独立管理。云上计算资源可弹性分配，有查询 计算任务的时候按需启动，按照使用时间和规模计算成本。 eMPP 分布式专利技术 在云上，PieCloudDB 利用 eMPP（elastic Massive Parallel Proce 高效的文件格式，可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息，并生成更高 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping 等高级特性，全面满足各种复杂的分析查询需求。 IvorySQL开源数据库社区 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB

数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的⾓度是隔离，同时具 备数据共享的能⼒。 例如：投资管理系统和财务管理系统可以各⾃管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模 Confidential Pi e Cl oudDB技术突破：数仓虚拟化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构，实现云上存储资源与 计算资源的独⽴管理。云上计算资源可弹性分配，有查询计 算任务的时候按需启动，按照使⽤时间和规模计算成本。 eMPP分布式专利技术 在云上，PieCloudDB利⽤eMPP（elastic Massive Parallel Processi 高效的文件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 @2022 OpenPie. All rights reserved. OpenPie Confidential 文本 时间序列分析