China 2016 中国用户大会 部署方案 • 底层通过78台X3650 PC服务器组构建Hadoop集群,有效容量 138TB • 数据的分发、复制、任务调度、容错都是由系统软件来控制， 同时具备线性的横向扩展能力 • 3份冗余的数据保证对硬件的容错和读处理的支持 设备 硬件设备 数量 Hadoop 集群管理节点 IBM 3650 PC，双路六核，Intel X5650处理器， 2.66GHz主频，48GB内存，6*1TB 指定Timestamp能减少store file级别的读操 作 – Bloom Filter也能达到同样目的 • 选择指定的Column Family可以减少查询需 要读取的数据量 • 简单的纯基于filter的值查找是一个全表扫描 操作 – 但使用filter可以减少网络传输数据量 26 Postgres Conference China 2016 中国用户大会 关系型数据库中的数据模型 • Entity 多对多关系è联合 27 Postgres Conference China 2016 中国用户大会 NoSQL数据库的典型数据模型 (muddle) • 将所有数据关系放在一行宽 记录中存储 – 避免数据查找及跨网络访问 – 随机数据读取变为顺序读取 – 易于分表 – 空间换时间 – 原子性更新？ • 第三范式 28 Postgres Conference China 2016 中国用户大会 行记录设计