携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA OpSets: Sequential Specifications for Replicated Datatypes • Thanks For Watching 本PPT来自2019携程技术峰会 更多信息请关注“携程技术中心”微信公众号~

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖 Replication Center 目前携程的应用也在进行单元化的部署模 式, 在实现单元化的部署过程中, 跨数据中 心的数据访问一直是一个业务的痛点. 是否我们也能够有自己的一套 DRC? 来完 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署, 而不仅仅是限制于Redis

zookeeper是分布式协同管理工具，常用来管理系统配置信息，提供分布式协同服务。Zookeeper 的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证，造成攻击者可以远 程利用Zookeeper，通过服务器收集敏感信息或者在Zookeeper集群内进行破坏（比如：kill命令）。攻 击者能够执行所有只允许由管理员运行的命令。 漏洞利用 环境介绍 import Jupyter Notebook 未授权访问漏洞 漏洞简介以及危害 Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编 程语言。 如果管理员未为Jupyter Notebook配置密码，将导致未授权访问漏洞，游客可在其中创建一个console 并执行任意Python代码和命令。 漏洞利用 环境介绍 环境搭建

与⽬标⽹址之间的映射， 并在⽤户访问短⽹址时， 根据短⽹址的 ID 从 映 射 记 录 中 找 出 与 之 相 对 应 的 ⽬ 标 ⽹ 址 。 ⽐ 如 在 前 ⾯ 的 例 ⼦ 中 ， 微 博 的 短 ⽹ 址 程 序 就 将 短 ⽹ 址 http://t.cn/RqRRZ8n 中的 ID 值 RqRRZ8n 映射到了 http://redisdoc.com/geo/index.html 这个⽹址上⾯： 当 ⽤户访问短⽹址 我们还会继续看到更多使⽤ Redis 储存图数据的例⼦。 3.18 示例：使⽤散列键重新实现⽂章储存程序 在稍早之前， 我们⽤散列重写了《字符串》⼀章介绍过的计数器程序， 但是除了计数器程序之外， 还有另⼀个程 序也⾮常适合使⽤散列来重写， 那就是⽂章数据储存程序： ⽐起⽤多个字符串键来储存⽂章的各项数据， 更好的 做法是把每篇⽂章的所有数据都储存到同⼀个散列⾥⾯， 代码清单 3-6 展示了这⼀想法的具体实现。 user::ip 或者 user::ime 。 关于全局匹配符的更多信息可以参考维基百科 https://en.wikipedia.org/wiki/Glob_(programming) 或者 glob 程 序的⼿册⻚⾯： http://man7.org/linux/man-pages/man7/glob.7.html 。 11.2.2 其他信息 属性 值 复杂度 O(N) ，其中 N 为数据库包含的键数量。

本文会介绍云数据库 Redis 版的最新版本内核提供的产品特性及功能。您可以根据相应特性在控制台上一键操 作将内核版本升级至最新版本。升级内核版本会出现30s内的连接闪断，请您在业务低峰期运行，并确保应用程 序具备重连机制。 白名单 标准版-双节点、标准版-单节点、集群版都配置支持用户自定义白名单。 GEO 功能 云数据库 Redis 版目前的版本为2.8，为了跟随 Redis