处理基石；开源社区以此为基础打造了Hadoop Google 内部新一代分布式处理框架，于 12/13 年发表相关论文，奠定下一代分布式 NewSQL 的理论和工程实践基石。PingCAP 以此为基础打造了 TiDB & TiKV ## Google Spanner / F1 - The First NewSQL - 全球级别分布式 / 跨数据中心复制 - Paxos - ACID 事务支持 - /e/50ce86df6909b89b3ef785e7d6095ee1/p5_2.jpg) ## 我们在做什么 ## 新一代NewSQL分布式关系型数据库 Ti Project（TiDB + TiKV） ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 ## 概括： ## 无限水平 jpg) ## TiKV - 开源的 Spanner 实现 ● 基于 Raft 多副本一致性算法 ☐ 使用Multi Raft支持Dynamic Scale 支持类 Percolator 分布式事务 ● 提供 MVCC 支持 ☐ RocksDB |RPC| |---| |Transaction API| |MVCC| |Raft KV| |RocksDB| ## TiKV Overview

Rust in TiKV 黄东旭 PingCAP 技术架构未来 thegiac.com ## 关于我 ● 黄东旭 Dongxu_Huang • Open source hacker / Infrastructure Engineer • MSRA / Netease / Wandoujia / PingCAP CTO of PingCAP • Codis / TiDB / TiKV • Go Send，那么可以安全的在线程间传递 T - 不同线程即使销毁也无所谓 - 如果 T: Sync，那么可以安全的在线程间共享 - Rust 的类型推导系统和编译检查跨线程传递和共享的对象是否满足 Send + Sync ## TiKV - 大规模分布式 Key-Value 数据库 支持 ACID 跨行事务支持 支持 MVCC 无锁的快照读 构建于 Raft 之上，不依赖分布式文件系统 ☐ 更少的第三方依赖 ☐ 更高的性能(低延迟) 需要有健全的逻辑实现 SQL 层的下推算子  ## TiKV 的前置需求 极高的性能要求，尽可能低延迟，而且延迟需要稳定 ● 设计分布式系统的逻辑，极其复杂 ☐ Raft ☐ Multi-Raft ☐ 分布式测试框架 和 C 的模块大量交互 •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75 2.5.8 TiKV 版本的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 470 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 470 5.2.2 检测及关闭系统 swap· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 845 9.6.3 TiKV 报警规则 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

... 69 2.5.5 单行的限制 ..... 69 2.5.6 数据类型限制 ..... 69 2.5.7 SQL Statements 的限制 ..... 70 2.5.8 TiKV 版本的限制 ..... 70 2.6 TiDB 社区荣誉列表 ..... 70 2.6.1 TiDB 开发者 ..... 70 2.6.2 TiDB 文档写作者和译员 ..... 70 Web 浏览器要求 ..... 465 5.1.7 TiFlash 存算分离架构的软硬件要求 ..... 465 5.2 TiDB 环境与系统配置检查 ..... 467 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 ..... 467 5.2.2 检测及关闭系统 swap ..... 469 5.2.3 设置 TiDB 节点的临时空间（推荐） . ..... 857 9.6 TiDB 集群报警规则 ..... 857 9.6.1 TiDB 报警规则 ..... 857 9.6.2 PD 报警规则 ..... 861 9.6.3 TiKV 报警规则 ..... 866 9.6.4 TiFlash 报警规则 ..... 873 9.6.5 TiDB Binlog 报警规则 ..... 873 9.6.6 TiCDC 报警规则

Limitations on data types ··· 86 2.5.7 Limitations on SQL statements ··· 87 2.5.8 Limitations on TiKV version ··· 87 2.6 Credits ··· 87 2.6.1 TiDB developers ··· 87 2.6.2 Writers and translators for ··· 625 5.2.1 Mount the data disk ext4 filesystem with options on the target machines that deploy TiKV ··· 625 5.2.2 Check and disable system swap ··· 627 5.2.3 Set temporary spaces for TiDB instances Cluster Alert Rules ··· 1166 9.6.1 TiDB alert rules ··· 1168 9.6.2 PD alert rules ··· 1172 9.6.3 TiKV alert rules ··· 1178 9.6.4 TiFlash alert rules ··· 1187 9.6.5 TiDB Binlog alert rules ··· 1187

lixia@pingcap.com ## Agenda mongodb introduction gonzo with memory engine gonzo with TiKV engine TiDB and TiKV Transaction Q & A ## mongodb introduction |SQL术语/概念|MongoDB术语/概念|解释/说明| |---|---|---| result } ## gonzo with TiKV engine 目前只实现了 insert 和 find 的接口 用最简单的方式接入 与 TiDB 一样分成了 schema 信息和 table 数据存储 用了 TiDB 的事物接口 RunInNewTxn 都直接从 TiKV 获取数据，可以用 TiDB 自带 ## gonzo with TiKV engine ## insert 实现 = nil { return err } return txn.Set(key, value) }) } ## gonzo with TiKV engine ## find 部分实现 err := kv.RunInNewTxn(Cc.store, false, func(txn kv.Transaction) error {

... 93 4.1.4 网络要求 ..... 94 4.1.5 客户端 Web 浏览器要求 ..... 95 4.2 TiDB 环境与系统配置检查 ..... 95 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 ..... 95 4.2.2 检测及关闭系统 swap ..... 96 4.2.3 检测及关闭目标部署机器的防火墙 ..... 97 ..... 332 7.5 TiDB 集群报警规则 ..... 333 7.5.1 TiDB 报警规则 ..... 333 7.5.2 PD 报警规则 ..... 336 7.5.3 TiKV 报警规则 ..... 341 7.5.4 TiFlash 报警规则 ..... 349 7.5.5 TiDB Binlog 报警规则 ..... 349 7.5.6 TiCDC 报警规则 396 8.8.3 tidb-server 启动报错 ..... 397 8.8.4 tikv-server 启动报错 ..... 397 8.8.5 pd-server 启动报错 ..... 398 8.8.6 TiDB/TiKV/PD 进程异常退出 ..... 398 8.8.7 TiKV 进程异常重启 ..... 398 8.8.8 TiDB panic ..... 398

Guangzhou, Silicon Valley, Home • Open-Source infrastructure software: Codis, RebornDB • TiDB, TiKV, TiSpark ## Agenda • Design Goals • Architecture Evolution • Lessons Learned • Open Source Community  RocksDB KV ## TiKV Stack Client gRPC gRPC gRPC Txn KV API Coprocessor API Txn KV API Coprocessor API Txn Raft Raft Group RocksDB RocksDB RocksDB TiKV Instance TiKV Instance TiKV Instance ## TiDB + TiKV Protocol Layer SQL Layer KV API Coprocessor API TiKV ### We get another distributed MySQL. But

...99 4.2.1 Mount the data disk ext4 filesystem with options on the target machines that deploy TiKV.....99 4.2.2 Check and disable system swap.....101 4.2.3 Check and stop the firewall service of 7.5 TiDB Cluster Alert Rules 334 7.5.1 TiDB alert rules 336 7.5.2 PD alert rules 340 7.5.3 TiKV alert rules 345 7.5.4 TiDB Binlog alert rules 354 7.5.5 TiCDC Alert rules 354 7.5.6 Node_exporter Unavailable 364 8.1.2 2. Latency increases significantly 365 8.1.3 3. TiDB issues 365 8.1.4 4. TiKV issues 370 8.1.5 5. PD issues 374 8.1.6 6. Ecosystem tools 376 8.1.7 7. Common log analysis

. 72 4.1.4 网络要求 ..... 73 4.1.5 客户端 Web 浏览器要求 ..... 74 4.2 TiDB 环境与系统配置检查 ..... 74 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 ..... 74 4.2.2 检测及关闭系统 swap ..... 75 4.2.3 检测及关闭目标部署机器的防火墙 ..... 76 300 8.6.3 tidb-server 启动报错 ..... 301 8.6.4 tikv-server 启动报错 ..... 301 8.6.5 pd-server 启动报错 ..... 301 8.6.6 TiDB/TiKV/PD 进程异常退出 ..... 302 8.6.7 TiKV 进程异常重启 ..... 302 8.6.8 TiDB panic ..... 302 303 8.7.1 1. 服务不可用 ..... 303 8.7.2 2. 延迟明显升高 ..... 303 8.7.3 3. TiDB 问题 ..... 304 8.7.4 4. TiKV 问题 ..... 307 8.7.5 5. PD 问题 ..... 310 8.7.6 6. 生态 Tools 问题 ..... 311 8.7.7 7. 常见日志分析 ..... 315