HBASE-21879 Read HFile ’s Block into ByteBuffer directly. 1. Background For reducing the Java GC impact to p99/p999 RPC latency, HBase 2.x has made an offheap read and write path. The KV are allocated BucketCache firstly, if the Cache misses, go to the HFile and read the corresponding block. The workflow: reading block from cache OR sending cells to client, is basically not involved in heap memory allocations that the process of reading the Block from HFile is still copied to the heap firstly, the heap block won’t free unless the WriterThread of BucketCache flushes the Block to offheap IOEngine successfully

OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好（各种统计数据⽤于data skipping、查询加速等） • OLAP友好（PG的HEAP是OLTP⾏存引擎） • 计算引擎加速友好（SIMD, SIMT, etc） @2022 OpenPie. All rights reserved (U/D/I写新⽂件）. • ⾏列混存，Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress • Encryption (TDE) • Large-size column • 访问时候内存Arrow Format • Medium-size block size • …... @2022 OpenPie. All rights reserved Confidential 构建之路 - 数据访问加速 • S3访问考虑（提升性能 & 降低成本） • 使⽤缓存，⻓远来说分布式缓存. • 虚拟数仓：⼀致性Hash存储缓存⽂件. • Data Skipping (⽐如Block Skipping，预聚集，etc）. • S3访问通⽤优化：并⾏化、预读、异步、Mpp引擎"steal". • C++抽象接⼝，访问更多的storage provider (HDFS, NAS

了包括聚集下准、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中，查询优化器会把聚集操作下推到连接操作之前去执行，可以极大地减少连 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Sk Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块block) 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化，生成高效的查询计划。 此外，PieCloudDB 兼容 ORCA 优化器 轻松应对PB级海量数据。 * 全新的优化器 【达: 基于自主研发的高效优化器--达奇，PieCloudD8可以更智能高效地生成统计信息，并生成更高效的查询计划，达奇优 化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 12 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 PiecloudDB

低了元数据访问的网络延迟，加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化，完整支持 TPC-H 和 TPC-DS 等测试，实现 了包括聚集下推、Block Skipping 等功能模块，大大缩短执行时间，高效的数据查询提高了数据分析的实时性。 此外，PieCloudDB 兼容 ORCA 优化器（ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器，可以帮助用 接操作需要处理的数据量，使得查询性能显著提升。在很多分析型场景下，聚集下推会取得百倍或千 倍的性能提升。 2. Block Skipping PieCloudDB 实现了Block Skipping的优化机制，在数据库运行查询语句时，通过预计算每个块(block) 中列聚集信息，在执行期间跳过非必要的数据块，减少数据读取量提高查询性能。此外，PieCloudDB PieCloudDB ， 轻松应对PB级海量数据。 基于自主研发的高效优化器--达奇，PieCloudDB可以更智能高效地生成统计信息，并生成更高效的查询计划，达奇优 化器支持聚集下推，预计算，Block Skipping等高级特性，全面满足各种复杂的分析查询需求。 13 PieCloudDB 产品优势 作为一款云原生虚拟数仓，PieCloudDB 具备的弹性灵活、高性能、稳定成熟等特点，兼备云原生数据库所特有的即

发布日期： 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除（TRUNCATE/DROP/ALTER 等）的表，这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录（catalog）信息，在每个虚 拟数仓中 全局缓存系统中添加本地缓存。 l HLL（HyperLogLog）压缩 当 HLL 比较稀疏时支持使用游程编码，可以节省 60%-95% 的存储空间。 2 l 优化 Block Skipping 实现 JANM 的虚拟索引。对于某些特殊的访问方法，表的数据文件/块已经包 含可以用作索引的信息，通过虚拟索引不仅可以利用这些信息来提高性能，而 且能减少维护开销。 l 简墨 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast，控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size，设置生成新 Page 的大小限制，以兆字节为单 位。 n 新增建表选项 block_file_size，设置生成新文件的 Block 文件大小限制， 以兆字节为单位。

All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 完备的事务 • Block文件级别的MVCC实现 • 优化器与执行器的演进 • 向量化 • 文件查询裁剪（Block Skipping） • 聚集下推扫描（PreAgg Pushdown Scan） @2022 OpenPie. All rights reserved @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 高效的分布式优化器 • 聚集下推 • 预计算 • Block Skipping @2022 OpenPie. All rights reserved. OpenPie Confidential 生态建设 • 更多的云平台的支持 • FDW • Apache

aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 52 Transitioning and skipping of states . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . query_cache_wlock_invalidate NoOp query_prealloc_size NoOp sql_buffer_result NoOp transaction_alloc_block_size NoOp wait_timeout NoOp audit_log_read_buffer_size NotSupported auto_increment_increment NotSupported ReservedConn profiling ReservedConn profiling_history_size ReservedConn query_alloc_block_size ReservedConn range_alloc_block_size ReservedConn range_optimizer_max_mem_size ReservedConn read_buffer_size ReservedConn

aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 50 Transitioning and skipping of states . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . query_cache_wlock_invalidate NoOp query_prealloc_size NoOp sql_buffer_result NoOp transaction_alloc_block_size NoOp wait_timeout NoOp audit_log_read_buffer_size NotSupported auto_increment_increment NotSupported ReservedConn 23 System variable Handled profiling_history_size ReservedConn query_alloc_block_size ReservedConn range_alloc_block_size ReservedConn range_optimizer_max_mem_size ReservedConn read_buffer_size ReservedConn

aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 48 Transitioning and skipping of states . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . query_cache_wlock_invalidate NoOp query_prealloc_size NoOp sql_buffer_result NoOp transaction_alloc_block_size NoOp wait_timeout NoOp audit_log_read_buffer_size NotSupported auto_increment_increment NotSupported Handled profiling ReservedConn profiling_history_size ReservedConn query_alloc_block_size ReservedConn range_alloc_block_size ReservedConn range_optimizer_max_mem_size ReservedConn read_buffer_size ReservedConn

aka table garbage collection . . . . . . . . . . . . . . . . . . . . . . . . 60 Transitioning and skipping of states . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . query_cache_wlock_invalidate NoOp query_prealloc_size NoOp sql_buffer_result NoOp transaction_alloc_block_size NoOp wait_timeout NoOp audit_log_read_buffer_size NotSupported auto_increment_increment NotSupported ReservedConn profiling ReservedConn profiling_history_size ReservedConn query_alloc_block_size ReservedConn range_alloc_block_size ReservedConn range_optimizer_max_mem_size ReservedConn read_buffer_size ReservedConn