云原生数据库PieCloudDB 性能优化之路PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • 预处理阶段 • 通过逻辑上的等价变换,把查询树转换为更加简单高效的等式 • 分发约束条件,收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作,例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接 • 提升子查询 • 把外连接转换为内连接 • 把外连接转换为反连接 • 分发约束条件 • 构建等价类 • 收集外连接信息 • 消除无用连接 • … SELECT … FROM foo WHERE EXISTS (SELECT 1 FROM bar WHERE foo.a = 外连接的上层有严格的约束条件,且该约束条件限定了来自 nullable side 的某一变量为非 NULL 值 SELECT * FROM foo LEFT JOIN bar ON foo.a = bar.c WHERE bar.c IS NULL; => SELECT * FROM foo *ANTI JOIN* bar on foo.a = bar.c; 外连接本身有严格的连接条件,且该连接条件引用了来自0 码力 | 26 页 | 711.44 KB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现OpenPie. All rights reserved. OpenPie Confidential branch t2 from t1; 只需要复制辅助表 可以从某个历史版本branch 通过引用计数判断block是否删除 只有在vacuum和branch操作时需要访问引用计数 @2022 OpenPie. All rights reserved. OpenPie Confidential •0 码力 | 43 页 | 1.14 MB | 1 年前3
PieCloudDB Database V2.8 Release Note压缩方法可以大幅度提高数据文件压缩率,降低数据文件存储成本。 n 支持预聚集块扫描节点,对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast,控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size,设置生成新 Page0 码力 | 4 页 | 144.49 KB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析• 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟 • 不影响批量读取,流式数据写入性能 来自用户的需求(2) • 支持国密标准 • 合规 • 加密算法可选0 码力 | 34 页 | 599.00 KB | 1 年前3
πDataCS赋能工业软件创新与实践根据对象存储的特性,为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上,可以直接利用数据块内预计算的结果,从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果,提前过滤掉不符合条件的数据块,从⽽减少对数据的扫描和后续 的计算。 @2024 OpenPie. All rights reserved. OpenPie Confidential 分布式设计,保证可靠性 计算层:0 码力 | 36 页 | 4.25 MB | 1 年前3
共 5 条
- 1













