Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 又有了新的期待

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838 17.9 contextvars . . . . . . 1223 21.12 http.client --- HTTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1226 21.13 ftplib --- FTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1232 21.14 poplib --- POP3 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237 21.15 imaplib --- IMAP4 协议客户端 . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782 17.9 contextvars --- . . . . . . . 1143 21.12 http.client --- HTTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1145 21.13 ftplib --- FTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1151 21.14 poplib --- POP3 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156 21.15 imaplib --- IMAP4 协议客户端 . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782 17.9 contextvars --- . . . . . . . 1143 21.12 http.client --- HTTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1145 21.13 ftplib --- FTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1151 21.14 poplib --- POP3 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1156 21.15 imaplib --- IMAP4 协议客户端 . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784 17.7 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786 17.8 _thread --- . . . . . . 1156 22.12 http.client --- HTTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1158 22.13 ftplib --- FTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1165 22.14 poplib --- POP3 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1170 22.15 imaplib --- IMAP4 协议客户端 . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740 17.7 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742 17.8 _thread --- 底层多线程 . . . . . . . 1091 22.12 http.client --- HTTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1093 22.13 ftplib --- FTP 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1099 22.14 poplib --- POP3 协议客户端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104 22.15 imaplib --- IMAP4 协议客户端 . . . . . . . . . . . . . . . . . . . . . . .

platform --- 获取底层平台的标识数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 16.14.1 跨平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919 18.1

14 platform --- 获取底层平台的标识数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705 16.14.1 跨平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706 16.14.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 856 18.1.4 子进程集

platform --- 获取底层平台的标识数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734 16.14.1 跨平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734 16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 891 18.1

14 platform --- 获取底层平台的标识数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684 16.14.1 跨平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685 16.14.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831 18.1.4 子进程