PC服务器组构建Hadoop集群,有效容量 138TB • 数据的分发、复制、任务调度、容错都是由系统软件来控制， 同时具备线性的横向扩展能力 • 3份冗余的数据保证对硬件的容错和读处理的支持 设备 硬件设备 数量 Hadoop 集群管理节点 IBM 3650 PC，双路六核，Intel X5650处理器， 2.66GHz主频，48GB内存，6*1TB SATA硬盘 1台 Hadoop集群 NameNode/JobTracker 预分配region • 启用压缩以减少HDFS数据量，可提高读性能 • Region Server进程配置大内存(>16G)，但不 要太大(<100G) • 每个Region Server拥有的region数量<200 • 优化表结构设计，防止少数几个region成为瓶 颈 – 一个简单的经验公式：每台region server纯写入时 高负载应能达到>1万条记录/秒（每记录200字节） 35 Postgres HBase对于CPU要求高，越多core越好 • 磁盘与网络的速度匹配 – 比如如果是24块硬盘，吞吐率约2.4GB/s，则 网络需要至少万兆网络。而千兆网一般配4到6 块硬盘。 • 更多的硬盘数量能增加并发，提高HBase 的读性能 Postgres Conference China 2016 中国用户大会 写性能 • HBase理论平均写延时<10ms，时间复杂度O(1) • 没有可用的handler响应

https://ieeexplore.ieee.org/abstract/document/7214031 • 关于各种size的合理理设计: • region数 50-100 • 列列族数量量 1-3 • 每个region⼤大⼩小 10G-50G • 每个cell⼤大⼩小 10M Schema设计 Schema设计 OpenTSDB 存监控指标的时序数据库 [salt]

0 码力 | 33 页 | 4.86 MB | 1 年前

3