HBase Read Path
0 码力 | 38 页 | 970.76 KB | 2 年前文档详细探讨了HBase读路径的工作机制,包括客户端和服务器端的读流程。重点分析了Region Server、Memstore和Storefile在读取操作中的角色,以及如何通过参数调优优化读性能。文档展示了读取QPS、响应单元/秒和读取原始单元/秒的性能数据,并讨论了读分布、本地性、短路读取和缓存命中率等关键因素对读性能的影响。通过案例分析,文档揭示了如何通过调整配置参数来提升读取效率。
HBase Practice At Xiaomi
0 码力 | 45 页 | 1.32 MB | 2 年前本文档主要介绍了小米公司对HBase的实践经验,包括异步HBase客户端的实现和性能表现,以及G1GC在HBase集群中的调优。文档首先讨论了异步HBase客户端的实现,对比了同步客户端和异步客户端的性能,并证明了异步客户端的延迟至少与同步客户端相当。接着,文档详细探讨了HBase与G1GC的调优,比较了CMS和G1两种垃圾回收算法的优缺点,并分享了小米HBase集群中G1GC的调优经验。最后,文档通过性能测试展示了HBase的随机写入和读取的平均延迟,并对异步RPC的性能进行了测试。
HBASE-21879 Read HFile ’s Block into ByteBuffer directly.
0 码力 | 18 页 | 1.14 MB | 2 年前文档详细介绍了HBase中的HBASE-21879改进,该改进旨在将HFile的块直接读取到Netty的ByteBuffer中,以减少堆外内存的使用和垃圾回收压力。通过重构API以接受ByteBuffer或byte[],优化了Checksum验证和块解压方法,并引入了ByteBuffAllocator进行内存管理。测试结果显示,该改进显著降低了Young GC压力,提高了吞吐量,并减少了延迟。文档还提供了不同缓存命中率下的性能对比和最佳实践配置。
HBase Practice At XiaoMi
0 码力 | 56 页 | 350.38 KB | 2 年前文档主要讨论了小米公司在使用HBase过程中遇到的问题及解决方案。主要包括以下内容:1) 扫描表时影响其他请求的问题,提出优化扫描方式以减少对其他请求的影响;2) 数据分析任务通过MapReduce或Spark执行,带来较大负担,提出直接扫描快照以减少HBase RPC请求;3) 备份管理问题,包括定期删除快照和验证备份;4) 小型集群重启卡在日志分割的问题,通过引入新的复制存储层解决;5) 异步Zookeeper通知问题,提出改进通知机制以避免任务失败。文档还提到通过优化RowKey设计和改进复制机制来提升性能和扩展性。
共 4 条
- 1













