TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb com/pingcap/tidb weibo: @goroutine Agenda ● HBase introduction ● TiDB features ● Google percolator and omid ● Internals of TiDB over HBase Features of HBase ● Linear and modular scalability. ● Strictly side Filters ● MVCC What did they say ? “Nothing is hotter than SQL-on-Hadoop, and now SQL-on- HBase is fast approaching equal hotness status” Form HBaseCon 2015 We want more !

A A brief introduction of NewSQL 1970s 2010 2015 Present MySQL PostgreSQL Oracle DB2 ... Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL TiDB and TiKV TiDB 执行流程: bucket size: 2 12 120 200 280 789 809 999 Dist SQL 分布式计算 ● 减少计算成本 ● 减少网络开销 Executor DistSQL API TiKV Client Coprocessor Computation Logic API Send requests Computation Dist SQL ● select * from t where age ＋ 乐观锁） ○ 引擎 RocksDB ● 水平扩容/缩容 ○ raft 协议 ＋ PlacementDriver ● 容错 TiKV Store4 Raft groups RPC RPC Client Store1 TiKV Node1 Region 1 Region 3 ... Store2 TiKV Node2 Region 1 Region 2 Region 3 ... Store3 TiKV

MySQL. But it is much weaker. Distributed Storage Engine SQL Layer HBase Protocol Layer KV API Operator Pushdown SQL Layer Hbase Protocol Layer KV API Coprocessor API Filter/Agg We get a distributed the benefit from the open source community • rust-prometheus, rust-grpc, raft-rs • go-mysql, go-hbase • etcd, rocksdb The TiDB Community •Stars •TiDB: 12,700+ •TiKV: ~3000 •Contributors •TiDB:

Colossus Google 内部新一代分布式处理框架，于12/13年发表 相关论文，奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 - The First NewSQL ● 全球级别分布式 / 分布式事务 ● 提供 MVCC 支持 ○ RocksDB RocksDB Raft KV MVCC Transaction API RPC Store4 Raft groups RPC RPC Client Store1 TiKV Node1 Region 1 Region 3 ... Store2 TiKV Node2 Region 1 Region 2 Region 3 ... Store3 TiKV

99% scheduler command duration : 99% & 99.99% 命令执行的时间 99% 小于 50ms；99.99% 小于 100ms 95% & 99% storage async_request duration : 95% & 99% Raft 命令执行时间 95% 小于 50ms；99% 小于 100ms server report failure message : 书栈(BookStack.CN) 构建 以上命令将在 certs 目录下生成以下文件： 1. certs 2. ├── ca-key.pem 3. ├── ca.pem 4. ├── client-cert.pem 5. ├── client-key.pem 6. ├── private_key.pem 7. ├── public_key.pem 8. ├── server-cert.pem 9. └── server-key b’2’ (2 不是二进制数值, 必须为 0 或 1) 0B01 (0B 必须是小写 0b) 默认情况，位值字面值是一个二进制字符串。 Bit-value 是作为二进制返回的，所以输出到 MySQL Client 可能会显示不出来，如果要转换为可打印的字符， 可以使用内建函数 BIN() 或者 HEX() ： 1. CREATE TABLE t (b BIT(8)); 2. INSERT INTO

同时要修改业务端的代码, 复杂度 较高; *。 MongoDB 不能实时从 Binlog 同步数据, 不适合使用 SQL 语义; *。 ”Hive 不便于做增量更新; *。 Phoenix on HBase 的索引变更与维护比较困难, 聚合查询的效率不高; *。 CRDB 兼容 PostgreSQL 协议, 线上数据迁移需做协议的转化, 成本较高。 经过以上一些列方案的评估和验证之后, 网易互娱决定在核心业务场景引入

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 983 11.7.10 Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 986 11.7.11 TiDB Binlog Relay and Join operators’ results to go wrong #23887 – Fix a bug that the primary lock fallen back from async commit cannot be resolved #24384 42 – Fix a GC issue of statistics that might cause duplicated Compaction Filter feature is enabled – Fix the issue that TiFlash cannot resolve the lock fallen back from async commit – Fix the issue of incorrect results returned when the casted result of the TIMEZONE type

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1049 11.7.10 Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1052 11.7.11 TiDB Binlog requests to reduce the CPU pressure of PD leader. 31 Variable name Change type Description tidb_tso_client_batch_max_wait_time �→ Newly added Sets the maximum waiting time for a batch saving operation when load of PD by enabling PD Follower Proxy and modifying the batch waiting time required when the PD client requests TSO in batches. This helps improve the overall scalability of the system. 43 – Support

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1016 12 11.7.10 Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1019 11.7.11 TiDB Binlog later. The default value is changed from 5m to 10m. TiKV con- figuration file server. �→ raft- �→ client- �→ queue- �→ size Newly added Specifies the queue size of the Raft messages in TiKV. The default Regions in MPP queries • Tools – TiCDC * Add the concurrency limit to the incremental scan of kv client #1899 * TiCDC can always pull the old value internally #2271 * TiCDC can fail and exit fast when

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 857 11.10.10Binlog Consumer Client 用户文档 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 859 修改 表示副本允许 的最长未响应 时间，超过将 被标记为 down， 后续 PD 会尝试 将其删掉。默 认值从 5m 修改 为 10m。 TiKV 配置文件 server.raft- �→ client- �→ queue-size 新增 指定 TiKV 中发 送 Raft 消息的 缓冲区大小。 默认值为 8192。 TiKV 配置文件 storage.flow- �→ control. �→ STRING 类型转换为 DOUBLE 类型 – 通过多线程优化右外连接中的非连接数据 – 支持在 MPP 查询中自动清理过期的 Region 信息 • Tools – TiCDC * 为 kv client 增量扫添加并发限制 #1899 * 始终在 TiCDC 内部拉取 old value #2271 * 当遇到不可恢复的 DML 错误，TiCDC 快速失败并退出 #1928 * 在 Region