HBase基本介绍
⽐比如两个split, 0-5 6-10 ⾃自动分区是指⼀一个region⼤大⼩小超了了 region的概念. 这个很类似关系数据库⾥里里我们说⽔水平/垂直分表的意思. • 读缓存: BlockCache • 写缓存: Memstore • 写操作⽇日志: WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 HBase如何在hdfs这种append- only⽂文件系统上实现, 修改/删除 操作的 系统组成 RegionServer读操作 这⾥里里需要提的⼀一点是, BlockCache⾥里里不不光对数据做了了缓存, 其实在RegionServer启动的时候, 会把所有region的索引信息加载进去. 系统组成 HFile • 整个HFile分为4⼤大部分 • 所有东⻄西都被组织为⼤大⼩小相同 的block0 码力 | 33 页 | 4.86 MB | 1 年前3HBase最佳实践及优化
Compaction被触发且运行时间长——优化高峰期Compaction 策略 Postgres Conference China 2016 中国用户大会 读性能优化 • 使用Redis、Memcache等缓存 • 使用Read Replica • 使用Bloom Filter • Filter等过滤结果数据 • Block cache大小 – 查看cache命中率 • StoreFile过多,影响查找效率,手工Compact HBase客户端性能优化 • 使用批量数据处理接口 • 保持2MB的Chunk Size • 使用内存pool缓存HTable及其他可重用对象 • 使用多线程并发技术 – Parallel Scanner • 使用异步调用接口 – AsyncClient • 使用数据预取以及预缓存 Postgres Conference China 2016 中国用户大会 Thanks! @Cloudera中国0 码力 | 45 页 | 4.33 MB | 1 年前3
共 2 条
- 1