搜索

排序方式
6 个文档
  • pdf 文档 HBase基本介绍

    0 码力 | 33 页 | 4.86 MB | 2 年前
    3
    HBase 是一个稀疏、分布式、持久化的多维排序映射,类似于 Google 的 Bigtable。它使用 HDFS 进行数据存储,具有分布式和容错特性。HBase 的数据模型基于行、列族和列限定符,支持版本控制和时间戳。其架构包括 HMaster、RegionServer 和 ZooKeeper,用于协调和管理数据。HBase 适用于需要高扩展性和实时读写的应用场景,如时序数据库、图数据库和 OLAP。文档还讨论了 Schema 设计的重要性,包括合理设计 Row Key 和列族以避免热点和提升性能。
  • pdf 文档 HBase最佳实践及优化

    0 码力 | 45 页 | 4.33 MB | 2 年前
    3
    文档主要讨论了HBase的性能优化,包括读写性能、硬件配置、表结构设计、客户端优化以及HBase的缺点。HBase对硬件要求较高,尤其是CPU和内存,建议使用多核处理器和大内存。在读写性能方面,优化表结构设计和减少Compaction操作是关键。文档还提到HBase的GC特点和建议,如避免堆大小过大。此外,HBase在SQL友好性、数据类型支持和多租户隔离能力方面存在不足。
  • pdf 文档 HBase Read Path

    0 码力 | 38 页 | 970.76 KB | 2 年前
    3
    文档详细探讨了HBase读路径的工作机制,包括客户端和服务器端的读流程。重点分析了Region Server、Memstore和Storefile在读取操作中的角色,以及如何通过参数调优优化读性能。文档展示了读取QPS、响应单元/秒和读取原始单元/秒的性能数据,并讨论了读分布、本地性、短路读取和缓存命中率等关键因素对读性能的影响。通过案例分析,文档揭示了如何通过调整配置参数来提升读取效率。
  • pdf 文档 HBase Practice At Xiaomi

    0 码力 | 45 页 | 1.32 MB | 2 年前
    3
    本文档主要介绍了小米公司对HBase的实践经验,包括异步HBase客户端的实现和性能表现,以及G1GC在HBase集群中的调优。文档首先讨论了异步HBase客户端的实现,对比了同步客户端和异步客户端的性能,并证明了异步客户端的延迟至少与同步客户端相当。接着,文档详细探讨了HBase与G1GC的调优,比较了CMS和G1两种垃圾回收算法的优缺点,并分享了小米HBase集群中G1GC的调优经验。最后,文档通过性能测试展示了HBase的随机写入和读取的平均延迟,并对异步RPC的性能进行了测试。
  • pdf 文档 HBASE-21879 Read HFile ’s Block into ByteBuffer directly.

    0 码力 | 18 页 | 1.14 MB | 2 年前
    3
    文档详细介绍了HBase中的HBASE-21879改进,该改进旨在将HFile的块直接读取到Netty的ByteBuffer中,以减少堆外内存的使用和垃圾回收压力。通过重构API以接受ByteBuffer或byte[],优化了Checksum验证和块解压方法,并引入了ByteBuffAllocator进行内存管理。测试结果显示,该改进显著降低了Young GC压力,提高了吞吐量,并减少了延迟。文档还提供了不同缓存命中率下的性能对比和最佳实践配置。
  • pdf 文档 HBase Practice At XiaoMi

    0 码力 | 56 页 | 350.38 KB | 2 年前
    3
    文档主要讨论了小米公司在使用HBase过程中遇到的问题及解决方案。主要包括以下内容:1) 扫描表时影响其他请求的问题,提出优化扫描方式以减少对其他请求的影响;2) 数据分析任务通过MapReduce或Spark执行,带来较大负担,提出直接扫描快照以减少HBase RPC请求;3) 备份管理问题,包括定期删除快照和验证备份;4) 小型集群重启卡在日志分割的问题,通过引入新的复制存储层解决;5) 异步Zookeeper通知问题,提出改进通知机制以避免任务失败。文档还提到通过优化RowKey设计和改进复制机制来提升性能和扩展性。
共 6 条
  • 1
前往