Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署, 而不仅仅是限制于Redis 数 据的双向同步. Redis For DRC 高可用性 一致性 分区容忍性 传统关系型数据库为代表的 CA 新兴的NO-SQL为代表的 CP 分布式数据库则更多的关心AP Availability Partition 技 术 选 型 首先,P(网络分区)是首 要考虑因素 其次, 跨区域部署就是 为了提高可用性 最后,我们使用"最终一 致性"来解决数据冲突 双向回 环 环形复 制 数据一 致性 网络模 型的选 择 双向/多向同步有哪些共同的问题 网络通讯的 模型选择 Redis A: • set k v Redis B: • set k v 发生在端对端的互相同步过程中

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master Redis Master Redis双向同步 1. slaveof 2. Sync data • slaveof命令 slaveof命令 • redis变成slave， 同步数据 • Slave无法写入 Redis双向同步 1. peerof 2. Sync data • 新的命令“peerof” • 同步数据 • 继续保持Master的 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof peerof

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2340 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 8.1.0 Release Notes 发版日期：2024 年 5 月 24 日 TiDB 版本：8.1.0 试用链接：快速体验 | 生产部署 | 下载离线包 TiDB 8.1.0 为长期支持版本 (Long-Term Support Release, LTS)。 相比于前一个 LTS（即 7.5.0 版本），8 com/zh/tidb/v8.1/ticdc-client-authentication"> �→ 客户端鉴权（从 v8.1.0 开始引入） TiCDC 支持使用 mTLS（双向传输层安全性协议）或 TiDB 用户名密码进行客户端鉴权。 �→ 该功能允许命令行工具或 OpenAPI 客户端验证与 TiCDC 的连接。 2.2.1 功能详情 2.2.1.1 稳定性

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2297 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 7.6.0 Release Notes 发版日期：2024 年 1 月 25 日 TiDB 版本：7.6.0 试用链接：快速体验 | 下载离线包 在 7.6.0 版本中，你可以获得以下关键特性： 分类 功能/增强 描述 可扩展性与性能 更多信息，请参考用户文档。 • TiCDC 支持通过双向复制模式 (Bi-Directional Replication, BDR) 同步 DDL 语句（实验特性）#10301 #48519 @okJiang @asddongmen 从 v7.6.0 开始，TiCDC 支持在配置了双向复制的情况下同步 DDL 语句。以前，TiCDC 不支持复制 DDL 语句， 因此要使用 TiCDC 双向复制必须将 DDL 语句分别应用到两个

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2353 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 8.0.0 Release Notes 发版日期：2024 年 3 月 29 日 TiDB 版本：8.0.0 试用链接：快速体验 | 下载离线包 在 8.0.0 版本中，你可以获得以下关键特性： 分类 功能/增强 描述 可扩展性与性能 #10672 @GMHDBJD – TiDB Lightning * 修复检查 TiKV 空间导致的性能回退的问题 #43636 @lance6716 * 修复在扫描数据文件时，遇到不合法符号链接文件而报错的问题 #49423 @lance6716 * 修复当 sql_mode 中不包含 NO_ZERO_IN_DATE 时，TiDB Lightning 无法正确解析包含 0 的日期值的 问题

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2422 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 8.2.0 Release Notes 发版日期：2024 年 7 月 11 日 TiDB 版本：8.2.0 试用链接：快速体验 | 下载离线包 在 8.2.0 版本中，你可以获得以下关键特性： 分类 功能/增强 描述 稳定性与高可用 Y Y Y N N N N N 暂停/恢复 DDL Y Y Y N N N N N N N TiDB 加速建表 E E N N N N N N N N 设置 BDR Role 用于 TiCDC 双向同步时同步 DDL E E N N N N N N N N 2.3.6 事务 事务 8.2 8.1 7.5 7.1 6.5 6.1 5.4 5.3 5.2 5.1 Async commit Y

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2237 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 7.1.0 Release Notes 发版日期：2023 年 5 月 31 日 TiDB 版本：7.1.0 试用链接：快速体验 | 生产部署 | 下载离线包 TiDB 7.1.0 为长期支持版本 (Long-Term Support Release, LTS)。 相比于前一个 LTS（即 6.5.0 版本），7 TiCDC 支持保存数据到存储服务 (Amazon S3/GCS/Azure Blob Storage/NFS) Y E N N N N N N N TiCDC 支持在两个 TiDB 集群之间进行双向复制 Y Y N N N N N N N TiCDC OpenAPI v2 Y N N N N N N N N 2.3.11 管理，可视化和工具 管理，可视化和工具 7.1 6.5 6.1 5

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2122 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 6.5.0 Release Notes 发版日期：2022 年 12 月 29 日 TiDB 版本：6.5.0 试用链接：快速体验 | 生产部署 | 下载离线包 TiDB 6.5.0 为长期支持版本 (Long-Term Support Release, LTS)。 与 TiDB 6.4.0-DMR 相比，TiDB canal-json 和 csv 的 changed log。更多信息，请参考用户文档。 • TiCDC 支持在两个 TiDB 集群之间进行双向复制 #38587 @xiongjiwei @asddongmen TiCDC 支持在两个 TiDB 集群之间进行双向复制。如果业务上需要构建异地多活的 TiDB 集群架构，可 以使用该功能作为 TiDB 多活的解决方案。只要为 TiDB 集群到另一个 TiDB

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2278 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 7.5.0 Release Notes 发版日期：2023 年 12 月 1 日 TiDB 版本：7.5.0 试用链接：快速体验 | 生产部署 | 下载离线包 TiDB 7.5.0 为长期支持版本 (Long-Term Support Release, LTS)。 相比于前一个 LTS（即 7.1.0 版本），7 TiCDC 支持保存数据到存储服务 (Amazon S3/GCS/Azure Blob Storage/NFS) Y Y E N N N N N N N TiCDC 支持在两个 TiDB 集群之间进行双向复制 Y Y Y N N N N N N N TiCDC OpenAPI v2 Y Y N N N N N N N N 2.3.11 管理，可视化和工具 管理，可视化和工具 7.5 7.1 6

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 749 7.3.6 TiCDC 双向复制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · • TiDB 数据库的计算 • TiDB 数据库的调度 2.2 TiDB 8.4.0 Release Notes 发版日期：2024 年 11 月 11 日 TiDB 版本：8.4.0 试用链接：快速体验 | 下载离线包 在 8.4.0 版本中，你可以获得以下关键特性： 分类 功能/增强 描述 可扩展性和性能 N N N N 暂停/恢复 DDL Y Y Y Y Y N N N N N N N TiDB 加速建表 E E E E N N N N N N N N 设置 BDR Role 用于 TiCDC 双向同步时同步 DDL Y Y E E N N N N N N N N 2.3.6 事务 事务 8.4 8.3 8.2 8.1 7.5 7.1 6.5 6.1 5.4 5.3 5.2 5.1 Async