10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Red 提供了很多⾮常有⽤和实⽤的附加功能， ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 Redis 核⼼的九种数据结构， 列举了操作这些数据结构的众多命令及其详细 信息， 并在其中穿插介绍了多个使⽤ Redis 命令构建应⽤程序的示例。

21 世纪的通讯 同样的一张地图 在今天, 仅仅需要毫秒级 别的时间, 一条消息可以 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 DRC 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 如果标记了客户端来源, 则无 法处理 A -> B -> C -> A 的问题 解决方案: • 标记数据来源 • 只转发来自应用的数据(不 转发复制过来的数据) 复制回环 client Set k v 多站点之间的数据强最终一致性 SEC ---CRDT (Strong Eventually Consistency) Whereas eventual consistency is only a liveness

Fork 导致 Copy-On-Write 导致主节点进程内存使用量的消耗，极端 情况下造成主节点内存溢出程序异常退出。 Redis 主节点生成备份文件导致服务器磁盘 IO 和 CPU (压缩)资源消耗。 发送数 GB 大小的备份文件文件，会导致服务器网络出口爆增，磁盘顺序 IO 吞吐 量高，期间会影响业务正常请求响应时间(以及其他连锁影响)。 使用场景 对 18 由于集群版的架构引入了多个组件，在 Redis 协议支持上相比标准版有一定限制。详情请参见支持的 Redis 命令。 Redis 读写分离实例 简介 针对读多写少的业务场景，云数据库 Redis 版推出了读写分离的产品形态，提供高可用、高性能、高灵活的读 写分离服务，解决热点数据集中及高并发读取的业务需求，最大化地节约用户运维成本。 组件 Redis Redis 读写分离版本采取链式复制架构，可以通过扩展只读实例个数使整体实例性能线性增长，充分 利用每一个只读节点的物理资源。 使用场景 读取请求 QPS 压力较大 标准版 Redis 无法支撑较大的 QPS，如果业务类型是偏读多写少类型，需要采用多个只读节点的部署 方式来冲破 Redis 单线程的性能瓶颈。Redis 集群版提供1个、3个、5个等只读节点配置，相比标准

Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题 SACC2017 Redis 问题 • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数 所有的从库全部重传数 据 SACC2017 Redis 问题 • 缓冲区写满问题 – 内存是昂贵资源, 缓冲区一般设置2G – 网络原因很容易将数据堵死, 那么就会发生大 量数据重传 SACC2017 Redis 问题 • 内存太贵 – 线上使用的redis 机器是 64G, 96G. 只使用 80% 的空间. – 如果一个redis 的实例是50G • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink • 基础架构团队开发网络编程库

China 2016 中国用户大会 01、开源数据库 02、丰富的数据类型 03、丰富的接口 04、支持丰富的语言 PostgreSQL 是全功能的开源数据库，是唯一支持事务、子 查询、多版本幵行控制系统、数据完整性检查等特性的一种 自由软件的数据库管理系统 PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL- 99，是目前世界上支持最丰富的数据类型的数据库