HBase基本介绍 ⽥田志鹏 20190714 上次分位点估算当时没解决的两个问题已更更新ppt. 今天讲的内容⽐比较基础, ⽽而且偏理理论, 因为我个⼈人也没有太多实际使⽤用经验, 纸上谈兵. Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ clusters of commodity hardware. Apache HBase is an open-source, distributed, versioned, non-relational database modeled after Google's Bigtable … 先来⼀一段HBase官⽹网的⾃自我介绍. blabla翻译⼀一下 重点看其中的红字, 什什么hadoop数据库 像redis是存kv结构的数据, MongoDB是存储⽂文档型数据, 那HBase存什什么样的数据? • ’表/⾏行行/列列’ • Row Key • ColumnFamily列列族 : ColumnQualifier列列限定名 • Version/Timestamp 分数:语⽂文 数据模型 逻辑视图 整个HBase和关系数据库很像, 但⼜又要时时注意两者的区别. 右⾯面我继续以⼀一次考试学⽣生分数距离

Postgres Conference China 2016 中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 产品开发及方案顾问，先后负责Hadoop 产品 化、HBase 性能调优，以及行业解决方案顾问 2 Postgres Conference China 2016 中国用户大会 HBase的历史 2006年 Google发表 了BigTable 论文 2006年底由 PowerSet 的 Chad Walters和 Jim Kellerman 发起了HBase 项目，依据 BigTable的论文 重构关系数据 重构关系数据 库 2007年2月建立 了HBase的原型 版本 2007年10月建立 了第一个可用的 HBase版本 2008年成为 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现 • BigTable利用GFS作为其文件存储系统 • HBase使用HDFS作为其文件存储系统 Postgres Conference China 2016

TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb com/pingcap/tidb weibo: @goroutine Agenda ● HBase introduction ● TiDB features ● Google percolator and omid ● Internals of TiDB over HBase Features of HBase ● Linear and modular scalability. ● Strictly side Filters ● MVCC What did they say ? “Nothing is hotter than SQL-on-Hadoop, and now SQL-on- HBase is fast approaching equal hotness status” Form HBaseCon 2015 We want more !

的和 安全的分布式架构 软硬结合 Intel Hadoop商业发行版 优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 HBase改迚和创新，为Hadoop提供实时数据处理能力 针对行业的功能增强，应对丌同行业的大数据挑戓 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 2.2 安装、部署、配置、监控、告警和访问控制 Zookeeper 3.4.4 分布式协作服务 Pig 0.9.2 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94.1 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager E5 CPU, 48GB内存，8块 7200rpm SATA硬盘, 千兆以太网 测试用例和性能  向HBase集群插入1KB大小的记录  每台服务器平均每秒插入1万条记录，峰值在2万条记录  每台服务器，从磁盘扫描数据，每秒完成400个扫描。 一次扫描从HBase表中获得单个用户一个月内的所有记录（平均100条） 0 0.2 0.4 0.6 0.8 1 ren

�! Hbase! ES�H2! mysql,hdfs! 34 Pinpoint��������� • Collector, �����agent��� ������Hbase� • Agent, ����������� ���JVM���Java����� �������JVM����� ���������Collector • Web UI, �hbase������� FBJCe AgeDI 接s层 A22 数据源 AafAa 集 群 实时计算层 4FarA集 群 OpenTSDB Elas-c Search HBase 数据存r层 数据服务层 (aIa 4ervice 数据消费层 y实时监控 (aHhbEard 实时监控 其它应用 FBJCe 5E)4 FBJCe 5EHB Config Center! Service! Registry! ���� ���� ���� ���� ���� Local Proxy! Remote Proxy Cluster! �� ���� ���� ���� • ���Sidecar • ������������� ����� • ������������ �������������

关系型数据库 ● NoSQL ● 中间件 ● NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 gRPC gRPC gRPC 数据分片 ● Hash Based Partition ○ Redis ○ 不利于范围 Scan ● Range Based Partition ○ Hbase ○ Range 需要足够大且足够小 Storage stack 1/2 ● TiKV is the underlying storage layer ● Physically, data tidb-operator (Inspired by etcd-operator) TiDB with Kubernetes 2/3 kubectl tidb-operator PD TiKV Cluster Delete a tikv node Delete a tikv node Data Movement TiDB with Kubernetes 3/3 ● Create ● Rolling

FDLEe AgeFK 接y层 A22 数据源 CafCa 集 群 实时计算层 4HaIC 集 群 OpenTSDB� Elas-c Search� HBase� 数据存储层 数据服务层 (aKa 4eIMAce 数据消费层 准实时监控 (ashboaId 实时监控 其它应用 FDLEe 5o)4 FDLEe 5oHB Config Center Service Registry ����� ����� ����� ����� ����� Local Proxy Remote Proxy Cluster ��� ����� ����� ����� • ���Sidecar • ������������ ������� • ������������ ������������ Center������ ������� 4eIMAce /esh架构P多语言客户端接y Java App OSP Server Local Proxy Remote Proxy Cluster Local Proxy PHP App C/C++ Node js APP Thrift over tcp JSON over HTTP JSON over

Cassandra 可以在 Linux、Unix、Mac OS 以及 Windows 上进行安装，为了简便起见，本文以 CentOS 为例进行介绍。 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 下载、安装并启动 Cassandra 因为本文只是简单介绍 Apache Cassandra 的使用，所以本文仅安装单机版的 Cassandra，在生 的子集。为了使用 CQL ，可以使用下面命令： [iteblog@www.iteblog.com apache-cassandra-3.11.4]# bin/cqlsh Connected to Test Cluster at 127.0.0.1:9042. [cqlsh 5.0.1 | Cassandra 3.11.4 | CQL spec 3.4.4 | Native protocol v4] Use HELP Cassandra 服务，所以 cqlsh 可以正确连接到这个集群。从上面的命令可以看出 cqlsh 连接到名为 Test Cluster 的集群，这是由 conf/cassandra.yaml 文件里面的 cluster_name 参数决定的，默认值为 Test Cluster。 当然，我们也可以在启动 cqlsh 的时候指定节点和相应的端口，如下： [iteblog@www.iteblog.com

1200000, from Seagate(希捷) Time for recovery(Hours) 2, 1TB Disk, 75% capacity water level, 100MB/S Cluster Scale HA Replica Nums Reliability 1M ❌ 1 99.27% 2M ❌ 1 99.27% 1M1S ✅ 2 99.9999976% 2M2S ✅ 2 99 Only once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time Applications Custom apps Analytics Monitoring Open platform IM

1200000, from Seagate(希捷) Time for recovery(Hours) 2, 1TB Disk, 75% capacity water level, 100MB/S Cluster Scale HA Replica Nums Reliability 1M ❌ 1 99.27% 2M ❌ 1 99.27% 1M1S ✅ 2 99.9999976% 2M2S ✅ 2 99 Only once 24/7 Support LOG Connector IoT Connector … Connector Hadoop Spark Storm Beam HBase OLAP AWS/Az ure … Real-time Applications Custom apps Analytics Monitoring Open platform IM