据库HBase Hadoop分布式 SQL查询框架 Hive 清单 BOSS 导入 账单 CXBILL 导入 HBase Thrift 服务 器 清单查询接口 帐单查询接口 用户账单批量 生成 清单统计业务 冲销支持 生产数据提取 HiveQL Pig+Ma Hout Postgres Conference China 2016 中国用户大会 部署方案 • 底层通过78台X3650 件性能下降约 50%－100% • 本地化读写太差，网络IO消耗严重 43 Postgres Conference China 2016 中国用户大会 HBase客户端性能优化 • 使用批量数据处理接口 • 保持2MB的Chunk Size • 使用内存pool缓存HTable及其他可重用对象 • 使用多线程并发技术 – Parallel Scanner • 使用异步调用接口 –