................................................................................... 5 2.3 更新系统包和依赖包 ................................................................................................. .................................................................................. 16 3.2 更新系统包和依赖包 ................................................................................................. systemctl status firewalld 3. systemctl stop firewalld 4. systemctl disable firewalld 2.3 更新系统包和依赖包 用 root 用户在每个节点执行如下命令： 1. yum update 2. yum install -y openssl openssl-devel. wget vim 3

18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷（Ray Von） 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握

18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 陆公瑜（Brian Lu） 合 伙 人 & C O O • 英国约克大学 • 15年+产品生态建设和运营管理经验 • 原Greenplum中国社区发起人 冯 雷（Ray Von） 创 始 人 & C E O • 浙江物理奥赛银牌 • 北京大学实验班，物理经济学双学位 • 原Pivotal/Greenplum（中国）创始人 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题，是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下，开发分布 式程序，以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 应的组件和依赖。 生态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资 源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloud

offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构. • 7年+：数据库内核开发 (HAWQ、PG、Greenplum、PieCloudDb). • 现在负责拓数派的整个研发管理. • 毕业于中国科学技术⼤学（专业语⾳识别）. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • reserved. OpenPie Confidential PieCloudDB简介 (cont.) • PieCloudDB有个很优秀的智能云原⽣平台 • ⾯向⽤⼾ • ⾯向运维 • ⾯向管理 • ⽣态相关产品也很丰富 • 但今天会焦距数据库内核 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 (内核Only) 定性. • 等等. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • ⽤⼾数据存储 • 依赖计算需求优先级提供更多功能（dict page? Bloom filter?等等). • 分布式缓存和调度. • 等等. @2022 OpenPie. All rights reserved. OpenPie

PieCloudDB 简介 IvorySQL开源数据库社区 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的角度是隔离，同时具 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上， P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密，服务 器无感知技术（Serverless）利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 IvorySQL开源数据库社区 PieCloudDB 技术突破：数仓虚拟化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构，实现云上存储资源 与计算资源的独立管理。云上计算资源可弹性分配，有查询

reserved. OpenPie Confidential 数据 计算 发现 数据：云上数据既是隔离也是连通。从安全的⾓度是隔离，同时具 备数据共享的能⼒。 例如：投资管理系统和财务管理系统可以各⾃管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上， P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓，打破传统数仓场景下 数据孤岛，解决数据多副本问题，帮助企业降低数 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 @2022 OpenPie. All rights

用户专注于使用，其他事情交给IaaS/SaaS厂商 上云 ≠ 云原生 计算&存储 弹性 智能化云原生平 台 多租户隔离 • 存储资源和计算资源：分离和隔离 • 资源伸缩快速简单 • 计算、存储：按需付费 • 智能管理，复杂交给*aaS厂商 PieCloudDB 重要特点 eMPP ACID; 完备的事务支持 (隔离级别：RR, RC) 完善的SQL标准支持 安全可靠 友好的用户接口（websql, 团队深度理解Postgres内核代码，在社区参与诸多贡献 PieCloudDB 架构 元数据管理 基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储（如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 r机制 • 多个集群（虚拟数仓）可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩

，是以对行业顶级数据库的抽象思考和设计原则复用为技术路线，采用领先的数仓 虚拟化技术，可将多个数仓统一整合到一个高可用的云虚拟数仓，打通多云的数据管道，数据计算资源按需扩缩容， 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless 共四种角色，具体说明如下: 1. 元数据节点; 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存 适合的分布式存储方案。 此外，PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 ， 高性能的数仓引擎 PieCloudDB

提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能； 2. 计算节点： 无状态节点（包括 Coordinator 和 Executer），主要负责接收用户请求和数据计算，支持 动态弹性伸缩，提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能； 3. 存储节点： 数仓整合 到云原生数据计算平台，根据数据授权动态创建虚拟数仓，按需灵活计算，打破数据孤岛，支撑更大模型所需的数据 和计算。在云上，数据计算资源按需扩缩容，提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级 增加可计算数据空间的同时，数量级降低数仓成本，打开无限数据计算空间，推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知（Serverle 合的分布式存储方案。 此外，PieCloudDB 提供的独立的元数据服务（Catalog Service）保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理，具有完备的高可用方案。在 PieCloudDB 中，每份元数据都将以多副本的形式分散到多 个服务节点，并支持定时备份，以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高

bit，AES-GCM 256 bit … • 特点 • 用户无感知 • 数据写入自动加密，读取自动解密 透明加密的作用 • 将数据库数据从明文存储转为加密存储 • 避免数据被系统运维人员直接读出 • 不依赖公有云/私有云/系统加密 • 用户合规需求 • 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求（1） • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 密钥加密密钥 • 用户无感知 • 自动生成次级密钥 • 密钥自管理 • 分区加密 技术挑战（2） • 和数据库存储结合 • 不影响数据库内核（执行器，优化器） • 不修改/添加元数据表格式 • 业务拟合 • 不影响原有用户的查询\业务 • 不影响外围组件（ETL） PART 03 透明加密的实现 密钥管理 • 主密钥由用户提供 • 保存于用户信任域中 • 无需加解密主密钥 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥