HBase最佳实践及优化对于数据的某一个子集能够进行有效地扫描 • 具有容错特性,能够将数据持久化的非易失性 存储中 – 使用HDFS做底层存储,可利用Hadoop的压缩 Codec等减少空间占用 • 自动水平扩展 – 只需要加入新的结点即可提高存储容量和吞吐量 – 服务器能够被动态加入或者删除(用以维护和升级) – 服务器自动调整负载平衡 5 Postgres Conference China 2016 中国用户大会 HBase的原子性保证 原有方案:小型机+存储+Oracle • 成本高、扩展性差 – 价格昂贵 • 服务器采用P595的两个分区(48CPU),部署不同的地市, 互为主备 • 存储使用2台DS8300,RAID5方式,有效容量54TB – 数据量大,增长迅速,但数据库的扩容工程施工风险 高 • 数据风险高 – 灾难恢复依赖磁带,业务中断时间长 • 效率低 – 关系数据库处理困难,查询慢(超过15秒) – 关系 HiveQL Pig+Ma Hout Postgres Conference China 2016 中国用户大会 部署方案 • 底层通过78台X3650 PC服务器组构建Hadoop集群,有效容量 138TB • 数据的分发、复制、任务调度、容错都是由系统软件来控制, 同时具备线性的横向扩展能力 • 3份冗余的数据保证对硬件的容错和读处理的支持 设备 硬件设备 数量 Hadoop 集群管理节点0 码力 | 45 页 | 4.33 MB | 1 年前3
共 1 条
- 1













