ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 03 04 eMPP架构 存算分离，元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩，模块间接口统一 每一组计算节点组成一个集群，多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract) 转换 (Transform) 导入 (Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 （数据组织形式）之 间的数据移动 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源 • 多种数据格式

。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑战 然而，随着数据量的不断攀升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈： 4 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹

击需视各2nk 2n 2n6 201 2018 20192070 20717022 2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字 化转型面临巨大挑 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一， 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 企业遇到负 时刻或需要紧急得到某个 法弹性、快速地分析业务数据，错失了充分挖掘数据 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书

..................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 .................................................................................................. ......................................................................... 14 3. PDB 基于已有 K8S 的部署方案 .................................................................................................. yum，且能够连接 Internet。 l 部署方案有两种，请根据实际情况选择： Ø 本地无 K8S 环境和对象存储，请选择第二章节《PieCloudDB 和 K8S 一起部署方案》 Ø 本地有 K8S 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 2.1 配置 NTP 同步 用

目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 P10 （filtered） P2 （filtered） 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息，并将它们关联起来 • 对向量数据建立索引，可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发，为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发，为其开发向量搜索及索引算法 PieCloudVector

驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少而精（All in One），提供3种计算引擎、1种

队和数字化转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据 计算引擎方向进行创新，全面拥抱AI技术趋势。 企业介绍 云原生数据计算系统 围绕数据组织云原生计算系统， 重构数据存储和计算，一份存 储，多引擎数据计算，全面升 级大数据系统至大模型时代。 02 中国AGI发展趋势 中国AGI市场融资非常活跃， AGI顶级人才非常欠缺，整 个市场将长期保持快速增 长态势。 Agent成为推动AI技术革命的关键力量 云原生数据计算系统 围绕数据组织云原生计算系统，重构数据存储和计算， 一份存储，多引擎数据计算，全面升级大数据系统至大 模型时代。 02 云原生数据计算系统 大模型数据计算系统概览 • Data Sharing 技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构，元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一 数据一次入库永不出户，数据可用不可见，跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统 分布式优化器设计 云原生数据计算系统 结构化和半结构化数据同步 云原生数据计算系统

⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基

基础数据计算领域的世界级高科技创新驱动机构 CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • 共享用户数据（典型如廉价对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 @2022 OpenPie. All rights reserved. OpenPie Confidential Postgres

pieclouddb.com CONTENTS @2022 OpenPie. All rights reserved. OpenPie Confidential 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从⽽建⽴竞争壁垒。 1 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally