携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA OpSets: Sequential Specifications for Replicated Datatypes • Thanks For Watching 本PPT来自2019携程技术峰会 更多信息请关注“携程技术中心”微信公众号~

�→ check- �→ raw- �→ value 新增 控制 TiCDC 是否仅将 Kafka 消息 的 value 部分发送 到外部存 储，该功 能仅适用 于非 Open Protocol 协 议。 60 配置文件 或组件 配置项 修改类型 描述 TiDB Lightning logical- �→ import �→ -prep- �→ stmt 新增 在逻辑导 入模式下， 该参数控 tuziemon（首次贡献者） • xyproto（首次贡献者） 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 67 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:8.0.33' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在

�→ check- �→ raw- �→ value 新增 控制 TiCDC 是否仅将 Kafka 消息 的 value 部分发送 到外部存 储，该功 能仅适用 于非 Open Protocol 协 议。 55 配置文件 或组件 配置项 修改类型 描述 TiDB Lightning logical- �→ import �→ -prep- �→ stmt 新增 在逻辑导 入模式下， 该参数控 tuziemon（首次贡献者） • xyproto（首次贡献者） 62 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:8.0.33' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在

wwu（首次贡献者） • yzhan1 47 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:8.0.33' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在 TiDB。 支持等级：Full 225 SQLAlchemy 是一个流行的 Python 的 ORM 框架，你可以使用 pip install SQLAlchemy==1.4.44 获取你的应用程 序的所有依赖项。建议使用 1.4.44 及以上版本。 使用 SQLAlchemy 构建 TiDB 应用程序的例子，可参阅使用 SQLAlchemy 连接到 TiDB。 支持等级：Compatible

#11082 – 修复因 channel 打满而导致的 Raft 断连情况 #11047 – 修复 Raft client 中 batch 消息过大的问题 #9714 – 修复 resolved_ts 中协程泄漏的问题 #10965 – 修复当 response 大小超过 4 GiB 时 Coprocessor panic 的问题 #9012 – 修复当一个 snapshot 文件无法被垃圾清理 (GC) backup data size(after compressed) 为基 准。 • 调节 TiKV 配置项backup.num-threads，限制备份任务使用的资源。该配置项决定处理备份任务的工作线 程数量。过往的测试数据表明，当 BR 备份的线程数量不大于 8、集群总 CPU 利用率不超过 60% 时，BR 备份任务对集群（无论读写负载）几乎没有影响。 6.3.1.5.3 BR 会备份系统表吗？在数据恢复的时候，这些系统表会冲突吗？ ddl jobs 可以查看 DDL 进度）： – 原因 1：与外部组件 (PD/TiKV) 的网络问题。 – 原因 2：早期版本（v3.0.8 之前）TiDB 内部自身负载很重（高并发下可能产生了很多协程）。 – 原因 3：早期版本（v2.1.15 & v3.0.0-rc1 之前）PD 实例删除 TiDB key 无效的问题，会导致每次 DDL 变更 都需要等 2 个 lease（很慢）。 – 其他未知原因，请上报

7x24,， 级别 别应级别 0 10 专家出可 规划，实施，主动式媳检，故障协 元 商业专家支持服 服务 查，知识转移，重要时期保障 务 全程现场 PingCAP.COM 屏蔽 TiDB 数据库部署、运维和性能调优的复杂性，通过界面上几下点击就可以快速创建和管理 TiDB 实例，使用户可以专注于自身业务应用程序的开发，降低总体拥有成本。 公有云服务商 Region 程户VPC 下 Toevc 人有 报税 和 | TiDB Cloud

可观测性 • 增强资源管控相关的观测性 #49318 @glorv @bufferflies @nolouch 随着越来越多用户利用资源组对业务应用进行隔离，资源管控提供了更丰富的基于资源组的数据，协 助你观测资源组负载、资源组设置，确保出现问题时能够快速发现并精准诊断。其中包括： – 慢查询日志增加资源组名称、RU 消耗、以及等待资源耗时。 – Statement Summary Tables 持原有的 配置。 TiKV gc.num- �→ threads �→ 新增 设置当 enable- �→ compaction �→ - �→ filter 为 false 时 GC 的线 程个数。 默认值为 1。 TiKV raftstore �→ . �→ periodic �→ -full- �→ compact �→ -start �→ -times 新增 设置 TiKV 启动周期 算子的查询由于内存超过 tidb_mem_quota_query 而卡住的问题 #49033 @XuHuaiyu – 修 复 在 非 严 格 模 式 下 (sql_mode = '')，INSERT 过 程 中 产 生 截 断 仍 然 会 报 错 的 问 题 #49369 @tiancaiamao – 修复 CTE 查询在重试过程中可能会报错 type assertion for CTEStorageMap

yzhan1（首次贡献者） • zxc111（首次贡献者） 45 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:5.1.49' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在 连接到 TiDB。 支持等级：Full SQLAlchemy 是一个流行的 Python 的 ORM 框架，你可以使用 pip install SQLAlchemy==1.4.44 获取你的应用程 序的所有依赖项。建议使用 1.4.44 及以上版本。 使用 SQLAlchemy 构建 TiDB 应用程序的例子，可参阅使用 SQLAlchemy 连接到 TiDB。 支持等级：Compatible

配置项 修改类型 描述 TiDB log. �→ timeout �→ 新增 用于控制 TiDB 写日 志操作的 超时时间， 当磁盘故 障导致日 志无法写 入时，该 配置可以 让 TiDB 进 程崩溃而 不是卡死。 默认值为 0，即不设 定超时时 间。 TiKV region- �→ compact �→ -min- �→ redundant �→ -rows 新增 触发 RocksDB yorkhellen • yujiarista（首次贡献者） 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:5.1.49' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在

Tema • ub-3 • yoshikipom 2.3 TiDB 功能概览 本文列出了 TiDB 功能在不同版本中的支持变化情况，包括长期支持版本 (LTS) 和最新的 LTS 版本之后的开发里 程碑版本 (DMR)。 注意： PingCAP 不提供基于 DMR 版本的 bug 修复版本，如有 bug，会在后续版本中修复。如无特殊需 求，建议使用最新 LTS 版本。 下表中出现的缩写字母含义如下： 'mysql:mysql-connector-java:5.1.49' • 有关原生 Java 使用 Hibernate 进行 TiDB 应用程序构建的例子，可参阅TiDB 和 Hibernate 的简单 CRUD 应用程 序。 • 有关 Spring 使用 Spring Data JPA、Hibernate 进行 TiDB 应用程序构建的例子，可参阅使用 Spring Boot 构建 TiDB 应用程序。 额外的，你需要在 连接到 TiDB。 支持等级：Full SQLAlchemy 是一个流行的 Python 的 ORM 框架，你可以使用 pip install SQLAlchemy==1.4.44 获取你的应用程 序的所有依赖项。建议使用 1.4.44 及以上版本。 使用 SQLAlchemy 构建 TiDB 应用程序的例子，可参阅使用 SQLAlchemy 连接到 TiDB。 支持等级：Compatible