rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code

驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和 计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》选为2019年度封面人物。（《数商周刊》报道） 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作

PieCloudDB，运用全新 eMPP (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚拟 化，提供云数仓智能化解决方案，助力企业建立以数据资产为核心的竞争整垒。 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 会自动快速发现并调度新的节点蔡代故障节点，同时也会在后台尝试修复故障节点，从而保证 PieCloudDB 服务的高可用性。 pieCloudDB 的存鱼引擎，支持对象存储、HDF5、NAS等分布式存储，数据的完整性、一致性和可靠性等由分布式存 储的多副本、EC以及灾备能力进行保障，将由于人为或自然原因导致的数据丢失概率降低到最低，保证单个硬件设备 的故障不会影响业务。用户可以根据实际需求选用最适合的分布式存储方案。

算节点、存储节点以及云原生管控平台节 点等共四种角色，具体说明如下： 1. 元数据节点： 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能； 2. 计算节点： 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 4. 云原生管控平台节点： PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓，助力企业实现数据价值最大化，更好地赋能业务发展并走 向绿色，成为新一代AI数据计算基础设施的一个典范。 全面的 SQL 兼容度 多维度弹性扩缩容 高可用能力 高性能的数仓引擎 PieCloudDB 产品特性 PieCloudDB 高度兼容 SQL: 2016 标准，完全支持SQL: 1992标准、大部分的SQL: 1999和部分SQL: 2003标准（主要支

池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级，体验产品最新特性 ü 丰富的社区活动，赋能社区用户 ü

用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential Data Promises Finally Come True @2022 OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing 化 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级，体验产品最新特性 ü 丰富的社区活动，赋能社区⽤户 ü 强⼤的开发者⽀持

可观察性增强：可得到更多的查询时系统的统计信息，包括元数据管理、S3 等。 • Vacuum 优化：在元数据层通过快速过滤不需要 vacuum 的数据，从而实现 vacuum 加速。 • 存储引擎 简墨（JANM） 异常处理的优化： 避免各种异常情况下数据残留。 • 简墨（JANM）分布式处理增强：更高效的元数据采集和分发，提升用户查询响 应时间，降低系统负载 • 模块，使用户可以访问包括但不限于 HDFS、MySQL 等数据源，同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化：通过更加清晰的 UI 设计，为用户提供一体化的权限管理 • 注册选项增加：增加了手机注册选项，用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化： o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理，增强安全能力

企业简介 l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； l 拥有强⼤的数据库内核研发团队、数据科学团队和数字化 转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 2023 引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原⽣虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作 业领袖” 4月 冯雷被评为杭州市所有的独角兽和准独角兽企 业中唯⼀“年度创业⼈物” 打造⼤模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 转型产品及服务全景图」 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧⼭区政府“⼀事⼀议”支持政策获

用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 平台底层：eMPP 云原生分布式SQL数据库 我们的目标：支持多模，serverless的实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie 架构 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 核心架构特点 元数据服 务 eMPP分布式 引擎 存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f

借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源（横向纵向）、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据（如按需付费的对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres？ 为什么选择Postgres？ • 关于Postgres • 公司中⽴，开源协议友好，国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展，插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件） • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献