HBase最佳实践及优化响极大 • 多租户隔离能力差 • 大内存(>100GB)管理差 12 Postgres Conference China 2016 中国用户大会 Kudu的设计目标 • 扫描大数据量时吞吐率高(列式存 储和多副本机制) – 目标: 相对Parquet的扫描性能差距 在2x之内 • 访问少量数据时延时低(主键索引 和多数占优复制机制) – 目标: SSD上读写延时不超过1毫秒 • 类似的数据库语义(初期支持单行 – 写需要减少Compaction操作,因此文件越多越好 – 优化读或者写之一,而不是全部 • 顺序 vs. 随机? • 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s • 尽量在HBase表结构设计时就考虑解决性能问题, 而不是通过设置参数来调整HBase性能! Postgres Conference China 服务器硬盘空间不大于6TB*RegionServer • 足够的内存堆大小(约等于硬盘空间/200) • HBase对于CPU要求高,越多core越好 • 磁盘与网络的速度匹配 – 比如如果是24块硬盘,吞吐率约2.4GB/s,则 网络需要至少万兆网络。而千兆网一般配4到6 块硬盘。 • 更多的硬盘数量能增加并发,提高HBase 的读性能 Postgres Conference China 20160 码力 | 45 页 | 4.33 MB | 1 年前3
共 1 条
- 1













