China 2016 中国用户大会 某大规模HBase多用户服务平台 • Hadoop平台集群1135个节点，其中集群970，客户端165，总 存储16PB，每日采集数据压缩后40TB，集群数据块4700万个 NN NN ZK+JN ZK+JN ZK+JN ZK+JN ZK+JN RM RM RM Hive Spark MR 7个独 立 HBase 库（共 享ZK集 群） 5个独 Server • 足够的内存堆大小（约等于硬盘空间/200） • HBase对于CPU要求高，越多core越好 • 磁盘与网络的速度匹配 – 比如如果是24块硬盘，吞吐率约2.4GB/s，则 网络需要至少万兆网络。而千兆网一般配4到6 块硬盘。 • 更多的硬盘数量能增加并发，提高HBase 的读性能 Postgres Conference China 2016 中国用户大会 写性能 •

/ bloom block 这个图是整个HFile⽂文件的结构. 最下是⽂文件尾, 根据⽂文件尾上的信息, 就能读取到 load-on-open部分的各种索引信息 最上是数据块所有实际的数据, 数据块的叶节点索引, 布隆隆索引都在这 系统组成 HFile DataBlock • 排序好的KeyValue 这⾥里里重点看⼀一下Datablock内部结构 系统组成 DataBlockEncoding