介 Q/A Contents 录 目 01 • 预处理阶段 • 通过逻辑上的等价变换，把查询树转换为更加简单高效的等式 • 分发约束条件，收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作，例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 节点之间移动 • 利用Motion产生分布式的查询计划 • 这些分布式的查询计划会被分为更小的单元，并被分发到不同的工作节点中并行执行 • 对于聚集操作，利用分布式的优势，在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b) from t group by a; QUERY PLAN ----------------------

抽象思考和设计原则复用 @2024 OpenPie. All rights reserved. OpenPie Confidential 云原⽣分布式优化器--达奇 多表连接的最优 顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏，极⼤的减少连接操作需要处理的数据量，使得查询性能显 ⼤数据管理分析，提供智能监管及自动控制操作 ü 减少时间成本，降低⼈为出错概率 ü 保证建造项目准确、完整、安全完成交付 ü 国产⼯业软件+国产数据库产业应用落地 ü 自主可控的全流程复杂⼯程调试完⼯数字化应用 ü 在设计阶段接⼊项目的调试计划 ü 用国产设计的感应设备、扫描设备及智能芯片记录现场数据 ü 跨台的应用嵌⼊，移动端⼯业软件的用户体验 ü 支持数据科学⼯程和BI⼯具，提供可视化业务看板 现场扫描数据 政策⽂件 投研类报告 产业调研材料 ⽂件上传 内容检索 ⽂件调取 前端 应用 ⼀阶段能⼒ 数据 计算 M3E模型 Embeddings Text2vec模型 其他模型 IVFFLAT索引 索引 HNSW索引 混合索引 L2距离 向量搜索 内积 余弦相似度 技术 框架 关联分析 智能问答 ⼆阶段能⼒ 相关资讯 报告⽣成 基础 知识 IVF_PQ索引 索引 ScaNN索引

全面的逻辑优化（谓词下推，子查询子链接提升，外连接消除） • 纯粹基于代价的物理优化 • 全面的数据分布特性描述，分布式代价估算，高效分布式表连接 • 多阶段的聚集 专门为复杂查询设计的优化器 分布式环境高效执行器 • 多阶段执行模型 • 流式数据重分布 @2022 OpenPie. All rights reserved. OpenPie Confidential select

是⼀个基于eMPP架构的云原⽣分布式优化器，它 可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 • 云原生优化器 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 更多⾼阶计算功能 • 聚集下推：1.0已经⽀持，在⼀些情况下可以⼗倍百倍更多倍提升 • SELECT

多个更小的 计划单元 @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential

分布式优化器 • 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性，提供更多高阶的优化

PieCloudDB Optimizer @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential