HBase Read Path openinx@apache.org Abstract ❏ Client Side ❏ Server Side ❏ Tuning Part-1 Client Side HBase Client ClientScanner ClientScanner cache(queue) scanner.next() RegionServer-0 RegionServer-1 compacting them (old generation) ● Less mixed GC(s) and shorter STW time. End-to-end offheap on the read-path (HBASE-11425) BucketCache StoreFileScanner Copy the Block from BucketCache(offheap) to onheap reference to the offheap block. Rpc Handler offheap onheap Use the DirectByteBuffer in all the read path. branch-1.5 branch-2 ● No need to copy block from offheap to onheap. ● Less onheap occupied

HBASE-21879 Read HFile ’s Block into ByteBuffer directly. 1. Background For reducing the Java GC impact to p99/p999 RPC latency, HBase 2.x has made an offheap read and write path. The KV are allocated easier to manage the offheap memory. Similarly, on the read path, we’ll try to read the BucketCache firstly, if the Cache misses, go to the HFile and read the corresponding block. The workflow: reading block pressure test, due to the large amount of data, the cache hit rate is not high (~70%), many blocks are read by disk IO, so a large number of young generation objects are allocated in Heap, which eventually

5.3.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.3.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 5.3.11 write . . . 5.41.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 5.41.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 5.42 IDirectory . . 5.42.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.42.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.43 IDisplay . . .

14.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . lxii 14.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . lxii 14.11 write . . . cvii 52.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cvii 52.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cvii 53 IDirectory . . 53.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cviii 53.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cviii 54 IDisplay . .

14.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . lxii 14.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . lxii 14.11 write . . . cvii 52.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cvii 52.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cvii 53 IDirectory . . 53.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cviii 53.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cviii 54 IDisplay . .

5.3.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.3.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.3.11 write . . . 5.41.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.41.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5.42 IDirectory . 5.42.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.42.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.43 IDisplay . .

6.3.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 6.3.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 6.3.11 write . . . 6.42.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.42.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.43 IDirectory . . 6.43.3 list . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.43.4 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.43.5 rewind . . .

5.3.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.3.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.3.11 write . . . 5.33.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.33.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.34 IDirectory . . 5.34.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.34.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.35 IDisplay . . .

5.3.9 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.3.10 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.3.11 write . . . 5.33.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.33.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.34 IDirectory . . 5.34.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.34.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.35 IDisplay . . .

Contents 5.3.8 interpret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.3.9 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.3.10 write . . . 5.22.1 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 5.22.2 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 5.23 IDirectory . . 5.23.2 close . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.23.3 read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.24 IDisplay . . .