6个月总量高达 ~600TB – 从600TB清单数据中检索某用户某个月的清单记录，响应时间应小 于1秒 – 支持高峰期每秒2000个并发访问查询 – 满足现在清帐单业务的查询统计需求(23类) – 实时入库，清单文件无积压（清单文件最大2万条，最小1条记录。 实时生产，平均每秒2个20MB的清单文件，高峰期到每秒10个 20MB文件） – 对联机分析必须提供标准编程接口，支持SQL/JDBC/ODBC等 Postgres Conference China 2016 中国用户大会 开发指南 21 Postgres Conference China 2016 中国用户大会 HBase表结构逻辑图 22 Postgres Conference China 2016 中国用户大会 HBase基础 • 表记录按RowKey字典序存储 • 表Schema只定义到Column Family级别属性 Compaction的次数 • 现在缺省128MB，一般不用修改 Postgres Conference China 2016 中国用户大会 HBase的GC特点 • 由单个RPC带来的操作类垃圾对象是短期的 • Memstore是相对长期驻留的，按2MB为单位分配 • Blockcache是长期驻留的，按64KB为单位分配 • 如何有效的回收RPC操作带来的临时对象是HBase 的GC重点

然后是列列, 这⾥里里hbase要求我们把列列做个分类, 叫列列族. 这⾥里里我分了了两个ColumnFamily, 分数和图⽚片 每个列列族名+列列限定名⽤用冒号连起来组成列列名, ⽐比如 分数:语⽂文. 然后我⼜又有图⽚片列列族, 只有⼀一列列头像, 存的是⼆二进制的图⽚片内容 然后hbase⼜又引⼊入了了版本概念, 就是图上这个 ⾏行行 交 列列 的每⼀一个格⼦子 都可以有多个版本的值 后来看google论⽂文说⼈人家参考了了很多模型最终才决 定这样设计的…. • 简单⾼高效, 可以作为其他应⽤用的基础 • OpenTSDB: 时序数据库, 主要是监控数据这类的 • JanusGraph: 图数据库, 知识图谱 • GeoMesa: 时空位置数据库 • Kylin: OLAP, ⽤用HBase存cube • Phoenix: Sql on HBase 数据模型 why 会把所有region的索引信息加载进去. 系统组成 HFile • 整个HFile分为4⼤大部分 • 所有东⻄西都被组织为⼤大⼩小相同 的block • Index block / bloom block 这个图是整个HFile⽂文件的结构. 最下是⽂文件尾, 根据⽂文件尾上的信息, 就能读取到 load-on-open部分的各种索引信息 最上是数据块所有实际的数据, 数据块的叶节点索引, 布隆隆索引都在这