PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的角度是隔离，同时具 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上， 降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密，服务 器无感知技术（Serverless）利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3

reserved. OpenPie Confidential 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的⾓度是隔离，同时具 备数据共享的能⼒。 例如：投资管理系统和财务管理系统可以各⾃管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上， 降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 虚拟机⾼在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie. P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨

支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节 点等共四种角色，具体说明如下： 1. 元数据节点： 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级 增加可计算数据空间的同时，数量级降低数仓成本，打开无限数据计算空间，推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知（Serverle

，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless 共四种角色，具体说明如下: 1. 元数据节点; 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存 适合的分布式存储方案。 此外，PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB

........................................................... 41 1. 集群规划 此次准备了 3 台虚拟机，具体信息如下： 序号 角色 主机名 IP 地址 操作系统 用户名/密码 PieCloudDB 版本 操作系统版本 1 K8S 的 Master pie4 10 ， 点击即可，将自动成为超级管理员。 具体操作详见： 。也可以参照如下步骤： 4.1 注册账户 1. 在 PieCloudDB 登录界面，如果需要注册一个新账户，点击下方的 ，来到 “注册 PieCloudDB 账户”界面。 2. 根据提示，作为注册新账户的用户，需要填写用户名、邮箱、账户名和密码，点击 即可，将自动成为超级管理员。 例如，用户 “汤姆” “汤姆” 使用用户名 “tom”、邮箱 “tom@openpie.com” 和密码 “12345Tom!”注册了组织账户 “piebar”，“tom” 成为了 “piebar” 该组织账户的超级管理 员。 a. 需要前往注册时使用的邮箱，查收激活账户请求的邮件，点击“激活账户”即可完成注 册，同时会返回 PieCloudDB 界面。这里需要注意的是，PieCloudDB 社区版默认不开 启激活

OpenPie Confidential • Segment节点并不持有持久化的数据，在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB

18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷（Ray Von） 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场

18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 陆公瑜（Brian Lu） 合 伙 人 & C O O • 英国约克大学 • 15年+产品生态建设和运营管理经验 • 原Greenplum中国社区发起人 冯 雷（Ray Von） 创 始 人 & C E O • 浙江物理奥赛银牌 • 北京大学实验班，物理经济学双学位 • 原Pivotal/Greenplum（中国）创始人 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资 源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 据计算

中国AGI发展趋势 中国AGI市场融资非常活跃， AGI顶级人才非常欠缺，整 个市场将长期保持快速增 长态势。 01 AIGC全生命周期管理 基于PieCloudML，为企业构 建统一的MaaS框架和AIGC开 发框架，对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 践，从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 AIGC全生命周期管理 基于PieCloudML，为企业构建统一的MaaS框架和 AIGC开发框架，对模型和AI Agent进行高效管理。 03 AIGC全生命周期管理 PieCloudML引擎设计 AIGC全生命周期管理 MaaS底座主流架构 AIGC全生命周期管理 AIGC应用组织 AIGC全生命周期管理 AIGC应用的全流程优化 AIGC全生命周期管理 AIGC应用最佳优化方案

用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationD 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎