8C/16GB/300GB。 l 一些镜像和组件默认在根目录下，所以操作系统的根目录要求不小于 150GB。 l 所有服务器需要配置 yum，且能够连接 Internet。 l 部署方案有两种，请根据实际情况选择： Ø 本地无 K8S 环境和对象存储，请选择第二章节《PieCloudDB 和 K8S 一起部署方案》 Ø 本地有 K8S 环境和对象存储，请选择第三章节《PieCloudDB "kubesphereio" 和 dockerhub.kubekey.local；并注释掉 auths 相关内容，具体如下： 2.6 创建 Harbor 仓库 在所有节点中都执行下面两个命令： 1. iptables -L 2. service docker restart 在 master 节点的 piedbinstaller 目录下执行如下命令： 1. export 访问地址：https://10.24.31.155/ • 用户名：admin • 密码：Harbor12345 3.7 在 Harbor 中创建相关项目 在所有节点中都执行下面两个命令： 1. iptables -L 2. service docker restart 在 master 节点的 piedbinstaller 目录下执行如下命令： 1. vi create_harbor_project

抽象思考和设计原则复用 @2024 OpenPie. All rights reserved. OpenPie Confidential 云原⽣分布式优化器--达奇 多表连接的最优 顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏，极⼤的减少连接操作需要处理的数据量，使得查询性能显 存储层： Ø 存算分离，存储独立扩展。 Ø ⾼可靠，支持跨多数据中⼼的灾备复制。 Ø 节约成本，全局数据唯⼀存储，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本。 事务管理： Ø 存两种隔离级别：Read Committed、Repeatable Read Ø ⾼性能事务管理器，支持自动扩展。 Ø ⾼可靠性，支持故障自动容错。 Ø 租户之间的事务管理器完全隔离，互不⼲扰。 @2024 ⼤数据管理分析，提供智能监管及自动控制操作 ü 减少时间成本，降低⼈为出错概率 ü 保证建造项目准确、完整、安全完成交付 ü 国产⼯业软件+国产数据库产业应用落地 ü 自主可控的全流程复杂⼯程调试完⼯数字化应用 ü 在设计阶段接⼊项目的调试计划 ü 用国产设计的感应设备、扫描设备及智能芯片记录现场数据 ü 跨台的应用嵌⼊，移动端⼯业软件的用户体验 ü 支持数据科学⼯程和BI⼯具，提供可视化业务看板 现场扫描数据

全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 多个更小的 计划单元 @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential

o 支持跨多数据中心复制数据 • 唯一真理 o 全局只需要存储一份数据，通过共享存储来实现数据共享，避免拷 贝和维护多份数据副本 IvorySQL开源数据库社区 事务 • ACID 支持两种隔离级别：读已提交、可重复读 • 扩展性 事务管理器无单点性能瓶颈 • 隔离性 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 事务管理器支持对各类基础设施故障进行自动容错 分布式优化器 • 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化

全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved. OpenPie Confidential • ACID - 支持两种隔离级别：读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的，不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 PieCloudDB Optimizer @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential

Cascades 模型的模块化查询优化器，帮助用户对 SQL 进行优化，生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT： Kafka 流数据导入支持，copy 性能大幅提升。 • 外部数据源的查询（实验性功能）： PieCloudDB 支持 foreign-data wrapper 模块，使用户可以访问包括但不限于 HDFS、MySQL 果直接复制 o 支持执行请求时自由切入/切出页面，不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换 • 数据导入优化： o 支持数据导入时自由切入/切出页面，无需用户在导入界面停留等待 o 支持 text 文本格式 o 统一报错信息 • 数据库信息：增加表的大小（size） 信息展示 • 计算集群：外

每一组计算节点组成一个集群，多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract) 转换 (Transform) 导入 (Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 （数据组织形式）之 间的数据移动 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果，记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式，支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式，步骤1 Ø PieCloudDB Foreign Table，postgres扩展，需要为数据源单独开发 Ø 控制节点上读 (LPK)，当逻辑主键不存在时做插入，已 存在时做更新或者删除 • 数据需要包含顺序键 (OK)，以决定操作生效的顺序 • 数据可以重复，但不可以有事务逻辑错误 • Merge/Upsert 模式，步骤1 将数据解析完成，导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN

介 Q/A Contents 录 目 01 • 预处理阶段 • 通过逻辑上的等价变换，把查询树转换为更加简单高效的等式 • 分发约束条件，收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作，例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 节点之间移动 • 利用Motion产生分布式的查询计划 • 这些分布式的查询计划会被分为更小的单元，并被分发到不同的工作节点中并行执行 • 对于聚集操作，利用分布式的优势，在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b) from t group by a; QUERY PLAN ----------------------

全面的逻辑优化（谓词下推，子查询子链接提升，外连接消除） • 纯粹基于代价的物理优化 • 全面的数据分布特性描述，分布式代价估算，高效分布式表连接 • 多阶段的聚集 专门为复杂查询设计的优化器 分布式环境高效执行器 • 多阶段执行模型 • 流式数据重分布 @2022 OpenPie. All rights reserved. OpenPie Confidential select

模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库