## 携程技术沙龙 Redis 多数据中心双向同步 祝辰 ## 讲师介绍  ## 祝辰 • 携程框架架构部门 • 资深研发工程师 - 专注于 Redis 高可用系统的研发工作 • 对分布式存储系统有所涉猎 ## 目录 CONTENTS CONTENTS 1 开篇 2 携程的Redis架构 3 分布式理论 4 双向/多向同步的问题 5 CRDT ## 开篇 ## 19 世纪的通讯  “At 12:30 am on April 4th, 1841 President 5db673ac826312c/p12_2.jpg) 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 - 到德国法兰克福站点, 平均延迟在176ms 左右 到美西站点, 平均延迟在 160ms 左右 ## 需求的产生 ![Image](/uploads/docu

## 携程 Redis 多数据中心 双向同步实践 祝辰 ## 祝辰 目前任职携程框架架构部门资深研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 双向同步 3 CRDT 4 高可用 ## 开篇 & 背景 ## Redis 在携程的规模 25,000,000 QPS ## 跨公网同步 Console SHANGHAI Data CANADA 需要向供应商付费2次 仓位信息供应商 国内 ## 业务痛点 - 单向同步可以解决海外重复收费的问题 - 无法解决上海重复收费的问题 国内 ## 业务痛点 - 我们希望可以通过Redis的双向同步解决重复收费的问题 ## 双向同步 ## Redis双向同步 SHA FRA APP APP APP APP datadata data 双向同步 Redis Master Redis Master 家族病史：___ 其他备注：___ ## Redis双向同步 slaveof命令 - redis变成slave，同步数据 • Slave无法写入 1. slaveof 2. Sync data ## Redis双向同步 - 新的命令 “peerof” 同步数据 继续保持Master的角色 1. peerof

MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立

等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1 方式更新，时效性差。 方案评估 ## 优点 1、仅依赖 Spark+Delta，架构简洁。 2、无在线服务。维护和运行成本低。 2、列存存储，分析速度快。 3、方便上S3/OSS，超高性价比。 ## 缺点 1、增量和全量表割裂，时效性不足。 2、设计和维护额外的Change Set表。 3、计算引擎并非原生支持CDC。 4、不支持实时Upsert。 FLINK FORWARD #ASIA 2020 ## Downstream consume incremental changes 3、统一的数据湖存储，多样化的计算模型。 4、读取合并后的历史数据可充分利用列存加速。 5、云原生支持。 6、支持增量拉取。 7、架构足够简洁，无在线服务节点。 FLINK FORWARD #ASIA 2020 ## #3 如何实时写入读取? ## 批量更新场景 VS CDC写入场景 |对比项|批量更新场景|CDC写入场景|

## 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能 ✓ 保护数据隐私 ## 基础框架 ✓ 数据集管理 ✓ 模型管理 ## 训练推理框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 ## Sedna ## 兼容性 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ## 边云协同AI框架 Sedna架构  ③ APP运行，识别难例，上传到云上标注服务中 ① 业务APP开发者：开发时使用边云AI Lib库，集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ## 【6】注册所有controller。 - f.SetDownstreamSendFunc() 【7】云端消息同步到边缘 - > pkg/globalmanager/controllers/lifelonglearning/downstream.go - f.SetUpstreamHandler() 【8】边缘消息同步到云端 - > pkg/globalmanager/controllers/life