...................................................................................... 17 3.4 添加节点角色 ................................................................................................ 10.24.31.155 3 K8S 的 Worker pie6 10.24.31.156 备注： l 基于 K8S 环境搭建 PieCloudDB 集群。 l 推荐服务器资源不低于 8C/16GB/300GB。 l 一些镜像和组件默认在根目录下，所以操作系统的根目录要求不小于 150GB。 l 所有服务器需要配置 yum，且能够连接 Internet。 l 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 2.1 配置 NTP 同步 用 root 用户在每个节点执行如下命令： 1. yum install -y chrony 2. systemctl enable chronyd 3. systemctl start chronyd 4. timedatectl

化转型面临巨大挑战，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来，不仅使得计算成本极大地降低，也提供了无限丰富的计算资源，释放出数据计算产生智能的 更多机会。早在2019年，Gartner便做出预测：数据库市场的未来在云上 。在2022年首次发布的《数据库中国市场 指南》（Market Guide for 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据 价值所带来的商业机会。 传 传统数据仓库客户的生产 环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩 容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁 琐。 木 桶 效 应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖垮”整个集群的性能，导致查询速度变慢。

化转型面临巨大挑战，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 数据库的未来在云上 随着云计算时代的到来，不仅使得计算成本极大地降低，也提供了无限丰富的计算资源，释放出数据计算产生智能的 更多机会。早在2019年，Gartner便做出预测: 数据库市场的未来在云上 作。在2022年首次发布的《数据库中国市场 指南》 (Market Guide for DBMS，China) ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一， 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 企业遇到负 时刻或需要紧急得到某个 法弹 期投入。传统数据仓库客户的生产 环境资源利用率，无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长，面临数据库的扩 容和升级时，由于传统数据仓库架构存储和计算的紧密耦合，往往需要企业花费巨大的运维和时间成本，且操作繁 琐。 木桶效应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖幸”整个集群的性能，导致查询速度变慢。

的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 各种复杂场景的数 据处理，业务开发周期短，现存的代码基本可以⽆缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管理简单，通过短暂学习即可掌握，⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务，7 * 24的安⼼保障。 @2024 OpenPie. All OpenPie Confidential 计算引擎之 PieCloudDB虚拟数仓，支撑更⼤模型所需的数据和计算 SQL语⾔实现的结构化数据上的模型计算 打破企业数据孤岛，整合企业所有表格类数据资源 πCloudDB（强逻辑计算） 云原⽣数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球⾏业领导者 @2024 OpenPie. All rights reserved. OpenPie

耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 备数据共享的能⼒。 例如：投资管理系统和财务管理系统可以各⾃管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从⽽建⽴竞争壁垒。 1 2 3 产 品 理

借助于云上虚拟化技术和之上的 IaaS，解耦 计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据：云上数据 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从而建立竞争壁垒。 1 2 3 产 品 理

各种复杂场景的数据 处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视 化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合 作伙伴都可以直接提供技术服务，7 * 24的安心保障。 πDataCS 优势1 ：全面升级 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 ：云原生下eMPP计算引擎全面颠覆MPP技术，大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛，整合企业所有表格类数据资源 πCloudDB（强逻辑计算） 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之 PieCloudDB虚拟数仓，支撑更大模型所需的数据和计算 元数据 Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 元数据 Coordinator Executor Host 1 Executor

耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 @2022 @2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 友好的用户接口（WebSql, ODBC/JDBC driver等). 云原生 • 弹性计算资源（横向和纵向）、极速调整 • 共享用户数据（典型如廉价对象存储） • 共享元数据 • MPP架构：分布式，海量数据并行处理 @2022 OpenPie. All rights reserved

NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved. OpenPie Confidential • 公有云无限的计算池可以提供理想的弹性计算资源 • 公有云廉价且无限容量的对象存储 • 传统数仓缺乏弹性和存算分离，难以利用公有云的优势 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved Confidential • Segment节点并不持有持久化的数据，在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB 上 • Master节点本地不持有任何全局状态 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie

reserved. OpenPie Confidential 构建之路2 - 分布式化 • Greenplum MPP引擎为基础. • 元数据只在Coordinator上访问FoundationDB. • QE节点元数据主要由QD精准⾼效dispatch. • Dispatcher各种优化. • 没有耗时的2PC分布式事务. @2022 OpenPie. All rights reserved. OpenPie 功能更全、OLAP更友好、更加贴近云原⽣需求. • 计算引擎 • V1（正在开发中）: SIMD执⾏器和各种计算优化. 甚⾄依赖于云成本. • V2: Pipeline引擎. • V3: 计算引擎资源调度隔离 - 类似⼀个计算操作系统.