云原生数据库 PieCloudDB eMPP架构设计与实现可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 • 云原生优化器 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 更多⾼阶计算功能 • 聚集下推:1.0已经⽀持,在⼀些情况下可以⼗倍百倍更多倍提升 • SELECT a.i, SUM(a Group Key: a.i • -> Seq Scan on agg_pushdown_t a 更多⾼阶计算功能 (cont.) • 预计算:很快⾯世 • Data skipping:⽂件裁剪⽀持很快⾯世 • 更多计算引擎⼯作在路上:SIMD, runtime filter,late materization,...... 分布式计算引擎 • MPP弹性计算引擎:按需付费 • 租户隔离(彼此不影响)0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 完备的事务 • Block文件级别的MVCC实现 • 优化器与执行器的演进 • 向量化 • 文件查询裁剪(Block Skipping) • 聚集下推扫描(PreAgg Pushdown Scan) @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器0 码力 | 45 页 | 1.32 MB | 1 年前3
πDataCS赋能工业软件创新与实践OpenPie. All rights reserved. OpenPie Confidential 云原⽣分布式优化器--达奇 多表连接的最优 顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏,极⼤的减少连接操作需要处理的数据量,使得查询性能显 著提升。在很 询提供最优的查询计划。 预计算 根据对象存储的特性,为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上,可以直接利用数据块内预计算的结果,从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果,提前过滤掉不符合条件的数据块,从⽽减少对数据的扫描和后续 的计算。 @2024 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路@2022 OpenPie. All rights reserved. OpenPie Confidential 处理复杂OLAP查询 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器0 码力 | 44 页 | 1.64 MB | 1 年前3
共 5 条
- 1













