HBase最佳实践及优化Conference China 2016 中国用户大会 HBase适用场景 • 高并发高性能读写访问场景 – 数据有随机更新、删除 – 数据写入性能高于读取性能,适合写多读少或数据 加载有实时性要求的场景 • 需按主键排序的半结构化数据存储 • 支持基于固定有限条件的高并发高性能查询 • 高速计数器aggregation类型的任务 – HBase强一致性(Strongly consistent)读写保证 从600TB清单数据中检索某用户某个月的清单记录,响应时间应小 于1秒 – 支持高峰期每秒2000个并发访问查询 – 满足现在清帐单业务的查询统计需求(23类) – 实时入库,清单文件无积压(清单文件最大2万条,最小1条记录。 实时生产,平均每秒2个20MB的清单文件,高峰期到每秒10个 20MB文件) – 对联机分析必须提供标准编程接口,支持SQL/JDBC/ODBC等 • 高可扩展和高可用 数据量大,增长迅速,但数据库的扩容工程施工风险 高 • 数据风险高 – 灾难恢复依赖磁带,业务中断时间长 • 效率低 – 关系数据库处理困难,查询慢(超过15秒) – 关系数据库入库慢,常有清单文件积压,不能实时入 库,从而不能实时查询 Postgres Conference China 2016 中国用户大会 基于Hadoop的清帐单系统架构 新版清帐单系统采用了基于 Hadoop的大数据平台,使用 分布式文件系统HDFS0 码力 | 45 页 | 4.33 MB | 1 年前3
HBase基本介绍after Google's Bigtable … 先来⼀一段HBase官⽹网的⾃自我介绍. blabla翻译⼀一下 重点看其中的红字, 什什么hadoop数据库, 分布式的, 可伸缩的, 随机实时读写 ⼗十亿级⾏行行, 百万级列列 每次看⼀一个项⽬目介绍完⾃自⼰己, 还是不不知道他是⼲干嘛的, 希望今天我介绍完, ⼤大家能知道他是⼲干嘛的 A Bigtable is a sparse(稀疏)0 码力 | 33 页 | 4.86 MB | 1 年前3
共 2 条
- 1













