TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb com/pingcap/tidb weibo: @goroutine Agenda ● HBase introduction ● TiDB features ● Google percolator and omid ● Internals of TiDB over HBase Features of HBase ● Linear and modular scalability. ● Strictly side Filters ● MVCC What did they say ? “Nothing is hotter than SQL-on-Hadoop, and now SQL-on- HBase is fast approaching equal hotness status” Form HBaseCon 2015 We want more !

主要特点: 通过 tiup playground 一键运行一个本地 TiDB 集群, 可以让用户快速上手 TiDB 尝鲜,同时也为开 发者提供了极大的便利运行测试集群 。 通过 tiup cluster 组件快速部云、.升级,扩缩容,配置变更 On-Premise 部署的TiDB 生产集群。 。 可以通过 tiup dm 组件快速部署、升级,扩缩容\配置变更 On-Premise 部署的 DM 提供灵活的在线扩展能力。 数据库选型 *。 ”MYSQL 分库分表与 InnoDB Cluster 方案扩展性有限, 性能受损, 同时要修改业务端的代码, 复杂度 较高; *。 MongoDB 不能实时从 Binlog 同步数据, 不适合使用 SQL 语义; *。 ”Hive 不便于做增量更新; *。 Phoenix on HBase 的索引变更与维护比较困难, 聚合查询的效率不高; *。 CRDB 兼容

MySQL. But it is much weaker. Distributed Storage Engine SQL Layer HBase Protocol Layer KV API Operator Pushdown SQL Layer Hbase Protocol Layer KV API Coprocessor API Filter/Agg We get a distributed the benefit from the open source community • rust-prometheus, rust-grpc, raft-rs • go-mysql, go-hbase • etcd, rocksdb The TiDB Community •Stars •TiDB: 12,700+ •TiKV: ~3000 •Contributors •TiDB:

A A brief introduction of NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL TiDB and TiKV TiDB 执行流程:

Colossus Google 内部新一代分布式处理框架，于12/13年发表 相关论文，奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 - The First NewSQL ● 全球级别分布式 /

--------- -------------------------------------+ 8. | 9. digraph HashRightJoin_7 { 10. subgraph cluster7{ 11. node [style=filled, color=lightgrey] 12. color=black 13. label = "root" 14. "HashRightJoin_7" "TableReader_12" 16. } 17. subgraph cluster9{ 18. node [style=filled, color=lightgrey] 19. color=black 20. label = "cop" 21. "Selection_9" -> "TableScan_8" 22. } 23. subgraph cluster11{ 24. node [style=filled, ansible_host=172.16.10.4 deploy_dir=/data1/deploy 注： 以下控制变量开启请使用首字母大写 True ，关闭请使用首字母大写 False 。 变量 含义 cluster_name 集群名称，可调整 tidb_version TiDB 版本，TiDB-Ansible 各分支默认已配置 process_supervision 进程监管方式，默认为 systemd，可选

TiDB Database Platform · · · · · · · · · · · · · · · · · · · · · · 72 3.1.1 Deploy a local test cluster· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 73 3.1.2 Simulate production tool · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 4.3 Plan Cluster Topology· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 4.4.1 Deploy a TiDB Cluster Using TiUP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 4.4.2 Deploy a TiDB Cluster in Kubernetes · · · · · · · · · · · · · · · ·

TiDB Database Platform · · · · · · · · · · · · · · · · · · · · · · 83 3.1.1 Deploy a local test cluster· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84 3.1.2 Simulate production tool · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 132 4.3 Plan Cluster Topology· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 157 4.4.1 Deploy a TiDB Cluster Using TiUP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 157 4.4.2 Deploy a TiDB Cluster in Kubernetes · · · · · · · · · · · · · · · ·

TiDB Database Platform · · · · · · · · · · · · · · · · · · · · · · 71 3.1.1 Deploy a local test cluster· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 72 3.1.2 Simulate production tool · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 120 4.3 Plan Cluster Topology· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 4.4.1 Deploy a TiDB Cluster Using TiUP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 4.4.2 Deploy a TiDB Cluster in Kubernetes · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 283 8.1.5 查询 SLOW_QUERY/CLUSTER_SLOW_QUERY 示例 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 284 8.1.6 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 303 8.5.4 statement summary 的 cluster 表 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 303 上述命令会在本地下载并启动某个版本的集群（例如 v5.2.4），--monitor 表示同时部署监控组件。 最新版本可以通过执行 tiup list tidb 来查看。运行结果将显示集群的访问方式： CLUSTER START SUCCESSFULLY, Enjoy it ^-^ To connect TiDB: mysql --host 127.0.0.1 --port 4000 -u root To