## 携程技术沙龙 Redis 多数据中心双向同步 祝辰 ## 讲师介绍  ## 祝辰 • 携程框架架构部门 • 资深研发工程师 - 专注于 Redis 高可用系统的研发工作 • 对分布式存储系统有所涉猎 ## 目录 CONTENTS CONTENTS 1 开篇 2 携程的Redis架构 3 分布式理论 4 双向/多向同步的问题 5 CRDT ## 开篇 ## 19 世纪的通讯  “At 12:30 am on April 4th, 1841 President 5db673ac826312c/p12_2.jpg) 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 - 到德国法兰克福站点, 平均延迟在176ms 左右 到美西站点, 平均延迟在 160ms 左右 ## 需求的产生 ![Image](/uploads/docu

## 携程 Redis 多数据中心 双向同步实践 祝辰 ## 祝辰 目前任职携程框架架构部门资深研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 双向同步 3 CRDT 4 高可用 ## 开篇 & 背景 ## Redis 在携程的规模 25,000,000 QPS ## 跨公网同步 Console SHANGHAI Data CANADA 需要向供应商付费2次 仓位信息供应商 国内 ## 业务痛点 - 单向同步可以解决海外重复收费的问题 - 无法解决上海重复收费的问题 国内 ## 业务痛点 - 我们希望可以通过Redis的双向同步解决重复收费的问题 ## 双向同步 ## Redis双向同步 SHA FRA APP APP APP APP datadata data 双向同步 Redis Master Redis Master 家族病史：___ 其他备注：___ ## Redis双向同步 slaveof命令 - redis变成slave，同步数据 • Slave无法写入 1. slaveof 2. Sync data ## Redis双向同步 - 新的命令 “peerof” 同步数据 继续保持Master的角色 1. peerof

5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立

Kotlin 中文站项目。 本书会与 Kotlin 中文站及 JetBrains 的 Kotlin 官方站准同步更新。 所以请时常来更新，或者阅读在线版本： https://book.kotlincn.net/。 2017-05-13，Kotlin 中文站的参考文档已翻译校对完毕且与官方站同步。 随着官网新增内容越来越多，尤其是 2021 年 版本库结构大改还导致翻译停滞了一段时间，已经有不少内容尚未翻译。 未翻译。 目前在不断完善翻译中，有些贡献者基于旧 版本翻译的内容也会逐步解决冲突合并进来。 当然，今后还会持续与官网保持同步更新并继续翻译，请随时关注。 欢 迎大家一起来翻译/改进，翻译前请阅读翻译指南草稿。 目前已更新至 1.9.10。最近一次更新：2023-10-28。 本书采用 Apache License 2.0 许可发布，因内容来源采用该许可。 下载离线版本： PDF | EPUB | MOBI 可变闭包变量 用于在 lambda 表达式中捕获可变闭包变量的装箱类不再具有 volatile 字段。 此更改提高了性能，但在一些罕见的使用 情况下可能导致新的竞争条件。如果受此影响，你需要提供自己的同步机制来访问变量。 javax.scripting 支持 Kotlin 现在与javax.script API（JSR-223）集成。 其 API 允许在运行时求值代码段： val engine =

5/4/5/a5458db7fb86ab4e1f5c1167e010676e/p6_1.jpg) ## 数据同步ck 1. 基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维度信息以及相关主题清单数据同步至clichouse数据仓库 Etl服务器 - 通过clickhouse-client将文本导入ck数据库 4/5/a5458db7fb86ab4e1f5c1167e010676e/p9_2.jpg) ## 数仓建设-主题事实清单表 主题事实清单表采用引擎MergeTree. 同步策略: 每日从 oracle 数据平台增量同步到 ck 数仓. create table dw_hr.fct_rpt_dc_shop_vender_day ( stat_year Int16, stat_month

- → 广 ## - 一键拉起环境 ## 原理 所有镜像自动生成 - 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 ## 注意点 - 数据建设依赖于规划 - 数据如何切分  ## 数据 - 全量同步线上脱敏数据 • Mysql redis ES 全搭建 ● 数据全部物理隔离 ![Image](/uploads/documents/f/0/6/7/f067b0eda43a3c020e320e6d76f82f4b/p11_4 资源逻辑隔离：线下环境，通过智能路由，解决多环境 ## - 多云部署的目的 ## 目的三 ## 降低成本 ● 跟不同的云厂商有更多的议价空间 ## 目的二 高可用 - 多云多冗余，包括数据的同步容易 ## 目的— ## 多K8S集群严格隔离 - 通过流量配置，区分不同云承 ● 接不同流量（单元架构） ## - 多云部署架构图 ![Image](/uploads/documents

使用客户端连接上主数据库，这里我使用的是 mysql workbench，从数据库因为安全考虑并没有公开端口给主机，只能进入容器的 mysql 控制台进行操作。 在主数据库中执行 SQL 脚本： /*设定用于同步的账号、密码*/ grant replication slave on *. * to ‘sync’ @’%’ identified by ’sync’; /*保存权限设定*/ flush privileges; /*查看主数据日志状态，需要记住查询结果 File 和 Position 值，是从数据库复制的日志起点*/ show master status; 在从数据库中执行 SQL 脚本： /*如果已经开启了同步，停止同步*/ stop slave; /*设定主数据库*/ change master to master_host='master_db', master_user='sync' mariadb-bin.000004', master_log_pos=789; /*开启从数据库复制*/ start slave; 最后可以通过 show slave status; 查看同步情况。 至此我们就建立了一个基于 Docker 的 Mariadb 数据库集群。