– 读需要合并HFile，因此文件越少越好 – 写需要减少Compaction操作，因此文件越多越好 - 优化读或者写之一，而不是全部 • 顺序 vs. 随机? - 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s - 尽量在HBase表结构设计时就考虑解决性能问题，而不是通过设置参数来调整HBase性能！ bizarre Linux issue Alleged to save some CPU cycles in between GC epochs ## RegionServer硬件建议 • 服务器硬盘空间不大于6TB*RegionServer - 足够的内存堆大小（约等于硬盘空间/200） • HBase对于CPU要求高，越多core越好 • 磁盘与网络的速度匹配 - 比如如果是24块硬盘，吞吐率约2

seekTo|org/apache/hadoop/base/regionserver/StoreFileReader,checkGeneralBloom...| |org/apache/hadoop/base/regionserver/StoreFileScanner,seekAtOrAfter|org/apache/hadoop/base/regionserver/StoreFileScanner,seekA seekAtOrAfter|org/apache/hadoop/base/regionserver/StoreFileScanner,seekAtOrAfter| |org/apache/hadoop/base/regionserver/StoreScanner,seekScanner|org/apache/hadoop/base/regionserver/StoreScanner,seekScanner|org /base/regionserver/StoreScanner,seekScanner| |org/apache/hadoop/base/regionserver/StoreScanner,clinit|org/apache/hadoop/base/regionserver/StoreScanner,clinit|org/apache/hadoop/base/regionserver/StoreScanner

• RegionServer • Zookeeper • NameNode/DataNode  Slave servers 然后HBase的数据都要存放在hdfs上, 就要有node. 如图可以看出RegionServer和Datanode尽量在同一台机器上 tanode尽量在同一台机器上. zookeeper作为协调信息存储的地方，比如节点健康状态 如图有这么几个组成部分, 前两个是HBase的 Master是负责管理的, RegionServer是实际干活的 ## 系统组成 Region ColumnFamily 图片头像 • 水平按rowkey分开 region ColumnFamily 分数 语文 数学 英语 36.24632 12 01010101010101010101010101010101010101010101010101010101010101010101010101010101010 ## 系统组成 RegionServer • 读缓存: BlockCache Read Cache, LRU evicted Region Server BlockCache • 写缓存: Memstore Region

hlog.splitlog.buffersize (maxHeapUsage) it equals or larger than the size limit of HLog. hbase.regionserver.hlog.splitlog.writer.thrdelshaving a equation to calculate. 32 is best according to our test ## server. o client won't know whether the task is success or not ☐ Notification lost when RegionServer is not alive. (HBASE-12769) o Hard to implement the more complex task flow for Serial Replication not know whether the peer is added success or failure at server side ☐ Notification lost when RegionServer is not alive. (HBASE-12769) o Hard to implement the more complex task flow (for Serial Replication/

优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ##

= 256 MB ☐ hbase.bucketcache.ioengine = offheap ## Test Environment HBase Cluster HMaster RegionServer - Java: JDK 1.8.0_111 - Heap: 30G Heap + 30G OFF-Heap - CPU: 24 Core - DISK: 4T x 12 HDD

|HBase集群|||||| |H|||||| ## HBase 统计 ## ZooKeeper 节点状况 状态 运行中 集群负载 : 11.00 bdqac1-node2 RegionServer : 3 (3 运行) 运行中 当前主节点 : bdqac1-node2 bdqac1-node3 运行中 ## HBase表概览 |表名|状态|数据分布| |---|---|---|

分某一行的数据。每个Region负责一小部分Rowkey范围的数据的读写和维护，Region包含了对应的起始行到结束行的所有信息。master将对应的region分配给不同的RegionServer，由RegionServer来提供Region的读写服务和相关的管理工作。 Hbase只支持3中查询方式： 1. 基于Rowkey的单行查询； 2. 基于Rowkey的范围扫描 3. 全表扫描