构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

有一个统一的状 态持久化接口， 所有有状态模块 通过统一的接口 对应统一的对象 模型 配置模块对象只 需要包括 Desired State 每个领域的控 制器模块的逻 辑保证自己领 域独立自愈的 能力 改变状态的操作 必须是幂等的声 明式操作，没有 新声明时各模块 按照之前的声明 继续工作 控制器模块对象 包括Desired State 和 Realized State 尽量避免复杂状态机，逻辑不要依赖无法监控的内部状 态 每个模块都可以在必要时优雅地降级服务 每个模块都可以在出错后自动恢复 假设任何命令都可能被任何调用对象拒绝，甚至返回错 误结果 声明式自愈系统的现有框架——Kubernetes 声明式自愈系统设计理念的回顾 统一接口 和对象模 型 自愈 能力 幂等操 作和状 态机 DS 和 RS Desired State 可重用部分 已完全实现 要在领域内 Networking Data 启动异常 进程被杀 服务器假死 断电 启动异常 超卖 进程死锁 负载均衡失效 业务线程池满 监控错误 流控不合理 心跳异常 缓存热点 缓存限流 数据库热点 数据库宕机 数据库延迟 CPU 抢占 内存抢占 内存错乱 上下文切换 磁盘满 磁盘坏 网络抖动 网卡慢 断网 DNS 故障 系统单点 异步阻塞 依赖超时 内存溢出 不可读写 目录 Ø 分布式系统面临的高可用问题

业务挑战及架构目标 架构演进 总结展望 架构演进 1 2 3 领域拆分 架构分层 构建领域模型 业务分析 2 1 3 4 分析业务流程 提炼业务规则 分析业务用例 识别业务对象 子域拆分 • 业务流程 • 专业知识 建模子域 计算子域 登录与 授权子域 报表子域 指标子域 做法子域 限界上下文拆分 • 业务用例 • 功能\语义相关性 • 技术应用 • 几何算法 通用框架机制 通用算法 CAD/BIM UI 图元绘制 显示层 应用层 CAD识别 BIM模型转换 模型编辑 批量操作 CAD模型 BIM模型 模型数据库 gcad文件 gfc文件 数据库 算量模型持久化 CAD模型持久化 BIM模型持久化 …... 构件模型 …... …... …... …... …... …... 平法模型 钢筋模型 理解业务需求  截面钢筋模型 按照行业钢筋平法规则，基于构件剖面描述钢筋布筋的模型  基于业务用例识别业务对象 • 截面多边形 • 箍筋 • 纵筋 • 弯钩 • 端头 基于业务对象的钢筋模型 • 不同构件归纳抽象 • 分析业务对象及其关系 • 识别聚合、实体、值对象 柱截面钢筋模型 压顶截面钢筋模型 人防截面钢筋模型 截面钢筋 截面多边形 点筋 截面钢筋 规格 端头

module database API layer client requests client requests client requests 向以“领域”为中⼼心的架构迁移 演进数据库 (like code) — Tested — Versioned — Incremental scripting all db changes incrementally db 部署架构设计 测试环境 部署架构设计 绘制部署架构，组合服务和 部署元素 部署架构变更更历史 推荐部署架构（远期规划） 微服务开发框架定制 代码架构⻛风格选择 资源配置 数据库版本管理理 是否⾃自动⽣生成API/ Dockerfile/流⽔水线 ⽣生成 代码 到GIT 仓库 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness Function检查 配置Sonar地址、展⽰示分析结果 数据结构分析- 测试环境的反向⼯工程可视化 数据结构分析- ⽣生产环境脚本导入可视化 领域模型- 基于代码守护的反向可视化 运⾏行行时部署架构可 视化 数据库 状态/版本显⽰示 创建系统 组建团队 我的系统 列列表 团队⼈人员⾓角⾊色 权限维护 外部系统维护 架构约束定 义维护 部署元素维护 代码引入ArchUnit/ log格式入⼿手

基础设施 ⼲干系⼈人: 外界系统 诉求: 稳定调⽤用外部系统 技术点: 使⽤用和适配外部系统模型，隔离和快速诊断错误 ⼯工作内容: • 学习和使⽤用外部系统，如数据库，邮件系统 • 适配外部系统模型，如SQL映射到模型对象 技术⼈人员关注的层 基础设施 腐化案例例: 业务逻辑和外部调⽤用逻辑混合 如⼀一个⽅方法⾥里里即处理理业务逻辑⼜又调⽤用SQL 模型内容: • PO 基础设施 名词翻译映射 资源模型: ⽤用户想要⼀一把查询获取所有信息，⼀一个操作做完业务 业务模型: 分解的业务概念 存储模型: 性能最优化 HTTP字符⽂文本 Json 视图对象 ⼀一个⽤用户请求⼀一个视图对象 多个固定的业务概念表达业务规则 SQL: ⽆无冗余字段设计, 主外键关联 NoSQL: 冗余字段设计，⽆无Schema宽列列 DDD分层架构治理理 前端应⽤用 API服务

其它分布式服务的调测支持 对象存储 1.分布式环境下，为不同开发团队/人员配置独立的文件路径（Direction、Bucket）可以有效进行资源隔离。 2.单机环境下，可以参考MQ，采用本地File I/O实现的存储机制来mock 。 DataBase SandBox 1.为每个开发人员或测试人员提供一个单独（schema/catalog）的测试数据库。 2.预置数据独立管理，并通 逻辑上支持“租户”隔离模式的分布式服务一般对多团队并行开发/调测的支持较好，分布式环境下，一般不会成为工程效率提升 的瓶颈。针对这类服务，不用急于构建其Mock服务，可以根据其特性，寻找成本较低的实现途径。 分布式文件/对象存储 Tom/assets/product/… John/assets/product/… Mike/assets/product/… DB/RDS schema1 schema2 schema3 IDE 测试用例管理 执行管理 Mock数据管理 预置数据管理 E2E script WebDriver Mock 数据 单元测试用例 预置 数据 日志 测试 结果 测试套件 对象/文件 DFS/OSS 生产路径配置 测试路径配置 网络 模拟 故障 模拟 调测方法论 个人开发环境 Mock+直连调测+线上服务 集成测试环境 Mock+线上服务 图例 项目初始

明确服务包含的数据表 可视化的拆解遗留留系统 微服务架构、绞杀模式、代码依赖分析、数据库依赖分析、 遗留留系统拆解评分表、降⻰龙⼋八步 庖丁解⽜牛拆解的最⾼高境界 了了解⽜牛的⽣生理理构造 避开筋腱⻣骨节交错的组织 从⻣骨节的缝隙下⼿手 ⼗十九年年⼑刀依然锋利利 再看⼀一眼微服务架构 我们要做应⽤用代码拆分 我们要做数据库拆分 绞杀者模式 ‣“绞杀者模式”在既有系统资产的基础上实现数字IT 与Intellij或Eclipse相 结合，实时查看依赖， 指导拆解过程 已可视化 数据库依赖模式 模块A Data Mapper /ORM 相关联但不不属于 模块A的表 模块A Data Mapper /ORM 属于模块A的表 以模块(java包)为基本单位，从数据库依赖的⻆角度看，有两种模式： 属于模块A 的表 扫描数据库依赖 UserMapper.java UserMapper JAVA定义 XML实现 扫描数据库依赖 服务 名 mapp er名 ⽅方法 名 正确 依赖 表名 错误 依赖 表名 ⽤用户服 务 com.xx x.User Mappe r getUse rById USER N/A ⽤用户服 务 com.xx x.User Mappe r getUse rProdu cts User Product 数据库依赖统计表 使⽤用⼯工具

为什什么需要反应式架构 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库 5. 将期望状态持久化到数据库 { “state”: { “desired”: { 10 } 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库 5. 将期望状态持久化到数据库 { “state”: { “desired”: { 11 } 设备影⼦子业务说明 1. 设备上报状态 2. 将上报状态持久化到数据库 3. 应⽤用查询上报的状态 4. 应⽤用设置期望的状态 6. 期望状态和上报状态的 差异 (delta) 同步⾄至设备 7. 设备上报新的状态 8. 将新的上报状态持久化到数据库 5. 将期望状态持久化到数据库 { “state”: { “desired”: {

Oracle Nginx keepalived 数据库双机 网络分发层 业务处理 渠道适配器 交易预处理 交易预检查 交易风控 交易路由 通知 响应 查询 通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 线上环境突发事故，第一时间如何决策减少事故影响范围？ 开发人员排查问题速度过慢？ 随着业务的增长，问题越来越多，第一优先级需要解决什么？ 系统突然CPU、内存利用率暴增，如何定位代码？ 数据库连接数被耗尽，怎么办？ 各种OOM如何预防？ 随着系统交易量的增加，高可用系统的设计点很多，如何快速抓住建设要点？ 有哪些困惑 WHAT IS THE CONFUSION 需求设计阶段- 首次拦截 APP3 APP1 APP2 APP3 APP1 APP2 APP3 DB 快速响应故障 QUICK RESPONSE FAILURE DB 我们解决了以下系统自身问题 线程数 数据库连接 数- mysql,redis 内存 慢SQL 最后的问题是什么？ Java系统常见问题 JAVA SYSTEM FAQ CPU DO NOT FORGET THE BEGINNING

设计简单，运维方便 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 • 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线：实时的分组聚合操作 • 高效利用关系数据库 交易系统架构设计-架构图 撮合 资金清算 行情推送 K线计算 历史成交 订单状态 PG Redis 下单 交易系统架构设计-撮合服务 • C++实现的Redis Module results) pg.execute(‘update task_offset set offset=%s’, [offset]) 交易系统架构设计-关系数据库批量操作 insert into trades values (1, …) (2, …) … psycopg2.extras.execute_values( cur, ‘insert %s’, data ) stream = io.StringIO() # 往stream写csv格式的数据 cur.copy_from(stream, ‘trades’) 交易系统架构设计-关系数据库批量操作 with tmp(id, amount) as ( values (1, …), (2, …), (3, …)) update orders set