OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 如何从零开始参与技术社区 王刚，拓数派PieCloudDB 技术专家 @2024 OpenPie. All rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 我 • 王刚（Tender Wang） • 拓数派 PieCloudDB 技术专家 • 多次参与PostgreSQL 代码贡献 @2024 OpenPie. All rights reserved. OpenPie Confidential • 创 虚 拟 数 仓 产 •拓数派（ OpenPie）是⽴⾜于国内的基础数据计算领域⾼科 技创新机构； •拥有强⼤的数据库内核研发团队、数据科学团队和数字化转 型团队； •国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全⾯拥抱AI技术趋势。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全链路加密保证数据安全 核⼼产品优势

l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； l 拥有强⼤的数据库内核研发团队、数据科学团队和数字化 转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼ 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库⾏业全面⾛向云时代 8月 成立⼴州研发中⼼ 10月 2022拓数派产品发布会 云原⽣数仓PieCloudDB 社区版与商业版正式发布 极速进⼊成长期 Day-1 2023 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧⼭区政府“⼀事⼀议”支持政策获 批 9月 拓数派上榜《毕马威中国-未来独角兽 ⼈⼯智能创新 双30企业（长江三角洲地区）》 10月 2023拓数派年度技术论坛 拓数派⼤模型数据计算系统正式亮相，让AI模型更⼤更快 @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS的产品理念及定位

产品特性 PieCloudDB 产品核心技术 PieCloudDB 产品优势 关于OpenPie 附录：术语表 3 3 3 4 5 6 7 7 8 11 13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈（Global Datasphere）呈指数级递增， IDC预测全球数据圈将于 2025年增长值175ZB，而中国的数据圈有望于2025年爆炸式增长为世界第一 。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迭代迅速，相关人员需保持积极的知识更新意识。相关人才市场较小，人才匮乏。高昂的学习成本造 成用

产品特性 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入 了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈 (Global Datasphere) 呈指数级递增， IDC预测全球数据圈将于 2025年增长值175ZB，而中国的数据圈有望于2025年爆炸式增长为世界第一狂，数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 Annual Size of 集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迁代迅速，相关人员需保持积极的知识更新意识。根关人才市场较小，人才芽乏。高昂的学习成本造 成用户使用过程

IvorySQL开源数据库社区 IvorySQL 用户组技术沙龙北京站 IvorySQL开源数据库社区 PieCloudDB 的云原生之路 姓名：吴疆 公司：拓数派 职位：产品及推广总监 IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司（又称“OpenPie”），以 “Data 发现」为使命，成立后的短短10个月时间内，完成了包括头部 产业基金、东吴证券、元禾重元和政府科创平台在内的连续三 轮战略融资。 旗下云原生分析型数据库 PieCloudDB，以云计算架构为设 计基础，首创全新 eMPP 分布式技术，帮助企业建立竞争壁垒 的同时，实现数据价值最大化，并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 2021 2022 当天即获得腾讯投资天使轮投资 成为 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“一事一议” 支持政策获批 6月 成立加拿大研发中心 7月 PieCloudDB 云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB

成立后的短短10个月时间内，完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库PieCloudDB，以云计算架构为设计基础，首创 全新eMPP分布式技术，帮助企业建立竞争壁垒的同时，实现数据价值最 大化，并在新基建中承担可靠和可控的世界级云数据库底座。 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 @2022 OpenPie. All 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“⼀事⼀议”⽀ 持政策获批 6月 成⽴加拿大研发中心 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights

CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 • 支持跨多数据中心复制数据 • 唯一真理 • 全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved

ing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模 型技术全面赋能行业AI场景应用，助力合作伙伴成功，为企业创造更大的商业价值。 “理科实验班”(现元培项目）浸染在数学、物理、 计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 正式成立 成立杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿大研发中心 7月 PieCloudDB云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 2022拓数派产品发布会 云原生数仓PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来

..... .....．．．． .....．．． 蛐••• ｀｀ 一· I ...,... .. - ---- 矶0 HotDB 第 DATABA ＿届中国数据库技术大会 E TECHNOLOGY 拒产 ,rll&ttom 肖毛 线上直播 l CONFERE CE CHI ＼ 价值8 ChinaUrnx ，千UB A 2022 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 用户专注于使用，其他事情交给IaaS/SaaS厂商 • 让更多⽤户离数据更近 — 离繁琐操作更远 PieCloudDB 是这么来帮助我们的⽤户的 ⾯向运维 部署运维难度⼩ • 全⾯拥抱容器化技术，可以适配多种环境 • 已⽀持私有信创环境和多云环境 • 既实现私有环境离线部署，也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景，可以选择不同

ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 需求 • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行，通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出