OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好（各种统计数据⽤于data skipping、查询加速等） • OLAP友好（PG的HEAP是OLTP⾏存引擎） • 计算引擎加速友好（SIMD, SIMT, etc） @2022 OpenPie. All rights reserved (U/D/I写新⽂件）. • ⾏列混存，Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress • Encryption (TDE) • Large-size column • 访问时候内存Arrow Format • Medium-size block size • …... @2022 OpenPie. All rights reserved Confidential 构建之路 - 数据访问加速 • S3访问考虑（提升性能 & 降低成本） • 使⽤缓存，⻓远来说分布式缓存. • 虚拟数仓：⼀致性Hash存储缓存⽂件. • Data Skipping (⽐如Block Skipping，预聚集，etc）. • S3访问通⽤优化：并⾏化、预读、异步、Mpp引擎"steal". • C++抽象接⼝，访问更多的storage provider (HDFS, NAS

了包括聚集下准、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Sk Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块block) 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化，生成高效的查询计划。 此外，PieCloudDB 兼容 ORCA 优化器 轻松应对PB级海量数据。 * 全新的优化器 【达: 基于自主研发的高效优化器--达奇，PieCloudD8可以更智能高效地生成统计信息，并生成更高效的查询计划，达奇优 化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 12 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 PiecloudDB

低了元数据访问的网络延迟，加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-DS 等测试，实现 了包括聚集下推、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 倍的性能提升。 2. Block Skipping PieCloudDB 实现了Block Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块(block) 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PieCloudDB PieCloudDB ， 轻松应对PB级海量数据。 基于自主研发的高效优化器--达奇，PieCloudDB可以更智能高效地生成统计信息，并生成更高效的查询计划，达奇优 化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 13 PieCloudDB 产品优势 作为一款云原生虚拟数仓，PieCloudDB 具备的弹性灵活、高性能、稳定成熟等特点，兼备云原生数据库所特有的即

[root@linuxprobe ~]# stat anaconda-ks.cfg File: anaconda-ks.cfg Size: 1407 Blocks: 8 IO Block: 4096 regular file Device: fd00h/64768d Inode: 35321091 Links: 1 Access: (0600/-rw-------) [root@linuxprobe~]# file anaconda-ks.cfg anaconda-ks.cfg: ASCII text [root@linuxprobe~]# file /dev/sda /dev/sda: block special 在 Windows 系统中打开文件时，一般是通过用户双击鼠标完成的，系统会自行判 断用户双击的文件是什么类型，因此需要有后缀进行区别。而 Linux 系统则是根据用户 的改进版本，作为 RHEL 6 系统中默认的文件管理系统，它支持的存储容 量高达 1EB（1EB=1,073,741,824GB），且能够有无限多的子目录。另外，Ext4 文件系 统能够批量分配 block（块），从而极大地提高了读写效率。现在很多主流服务器也会 使用 Ext4 文件系统。 ➢ ：是一种高性能的日志文件系统，而且是 RHEL 7/8 中默认的文件管理系统。它 的优势在发生意

发布日期： 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除（TRUNCATE/DROP/ALTER 等）的表，这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录（catalog）信息，在每个虚 拟数仓中 全局缓存系统中添加本地缓存。 l HLL（HyperLogLog）压缩 当 HLL 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法，表的数据文件/块已经包 含可以用作索引的信息，通过虚拟索引不仅可以利用这些信息来提高性能，而 且能减少维护开销。 l 简墨 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast，控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size，设置生成新 Page 的大小限制，以兆字节为单 位。 n 新增建表选项 block_file_size，设置生成新文件的 Block 文件大小限制， 以兆字节为单位。

All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 完备的事务 • Block文件级别的MVCC实现 • 优化器与执行器的演进 • 向量化 • 文件查询裁剪（Block Skipping） • 聚集下推扫描（PreAgg Pushdown Scan） @2022 OpenPie. All rights reserved @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 高效的分布式优化器 • 聚集下推 • 预计算 • Block Skipping @2022 OpenPie. All rights reserved. OpenPie Confidential 生态建设 • 更多的云平台的支持 • FDW • Apache

⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： • ⾼效和精准的统计信息收集 • 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取） • 预聚集 • ...... 存储中⽴ • 公有云，私有云，混合云 HashAggregate • Group Key: a.i • -> Seq Scan on agg_pushdown_t a 更多⾼阶计算功能 (cont.) • 预计算：很快⾯世 • Data skipping：⽂件裁剪⽀持很快⾯世 • 更多计算引擎⼯作在路上：SIMD, runtime filter，late materization，...... 分布式计算引擎 • MPP弹性计算引擎：按需付费

核 • 聚集下推功能得到增强：通过把聚集操作下推到连接操作之前去执行，极大的减 少连接操作需要处理的数据量，使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制：数据库运行查询语句时，通过计算每个块 （block）中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性 能。 • 极速 Analyze（Smart Analyze）： PieCloudDB

WAL • 定长的 Block • Batch 写入 ClickHouse • Flush Worker • 异步任务定时刷新 WAL • 清理策略 • Schema同步 • 转换SQL 存储层 • ClickHouse • 使用Array来保存 Labels • 物化列 • Lowcardinality(Stri ng) • 加速查询 • Skipping Indexes

Group Key: a, b -> Seq Scan on t 03 • PieCloudDB优化器针对云原生的特性，结合对象存储的设计，实现了更多高阶 的优化 • 聚集下推 • Block skipping • 预计算 • … • 通过把聚集操作下推到连接操作之前去执行，在有些情况下可以极大的减少连接 操作需要处理的数据量 # EXPLAIN (COSTS OFF) SELECT