load情形 模拟AOF load情形 Redis安全问题 Shell提权问题 高可用和集群简述 高可用与分片的概念高可用主要场景和对应思路分片主要场景和对应思路适用场景对比列表 高可用和集群架构与实践 主从复制-sentinel架构 高可用原理 发现原理基本切换原理 环境搭建 部署架构 网络规划 用户规划 持久化规划 目录规划 部署步骤 配置文件 维护操作 完整启动 启停redis 手动启动 启停sentinel 附：sentinel事件含义 其他问题 只读性事件通知虚拟IP切换持久化动态修改 Sentinel最大连接数 Sharding架构（Redis3.0Cluster） 可用与分片原理 集群数据分片 集群的主从复制模型 一致性保证 环境搭建 安装部署集群配置参数 维护操作 连接集群 查看集群状态 查看集群节点状态 增加节点 删除节点 查看slot分配情况 查看key位于哪个slot 查看slot包含的键值对数量 key（不计算在10次之内）。可见，如果过期的key不多，它最多每秒回收200条左右，如果有超 过25%的key过期了，它就会做得更多，但只要key不被主动get，它占用的内存什么时候最终被清理掉只有天知道。 在主从复制环境中，由于上述原因存在已经过期但是没有删除的key，在主snapshot时并不包含这些key，因此在slave环境中我们往往看到dbsize较master是更小的。 字符串操作 最大字符串为512M，但是大字符串非常不建议。

redis 的方案是不行了。 ## redis 的高可用、高可扩方案? 主要是 redis cluster + 主从复制（或者第三方 codis + 哨兵） • redis cluster/codis 主要解决扩展性的问题，它会进行分片，每个 redis 实例保存分片的 key - 主从复制主要解决高可用，一个分片实例挂 2 个从实例，当主节点挂掉时，cluster/哨兵会自动将从节点升为主节点 redis，初步评估了下，其工作量要比自己实现持久化的逻辑要大一些，改造主要是为了让 redis 提供单独 dump/load 一个 DB 的功能： - 如果改造，dump/load 的逻辑都得动，而且会牵扯到一些其他逻辑（如主从复制，因为 redis 主从全量复制发送的就是一整个 RDB 文件，即使我们不需要这个功能，这部分代码也是有耦合的） - 如果自己实现，只是一个简单的 sava/load 逻辑，比较清晰 2. redis t_{hash.c} $ ，其性能表现也非常好） redis 哈希表实现主要优点参考以下 3. 总的来说，我们只是参考 redis 持久化实现，而 redis 中的大头（各类数据结构、模块化、主从复制、集群等这些都是我们目前不需要的），因此去改造 redis 感觉不是很划算 ## redis 中哈希表实现的优点? 主要是当哈希表需要扩桶的时候，rehash 过程中 redis 采用了均摊/渐进式的思想，把

d>evicted_keys内存比监测(80%)key数量主从复制监测角色监测命中率复制状态检测其他 连接监测 开 插入监测 关 变量监测 no readonly 状态监测 开 连接数监测 内存使用比监测 报警设置 连接失败 插入失败 主从复制监测 变量异常 开 角色监测 状态异常 readonly 连接数 关 开 内存使用比 关 开 Role == Master 主从复制异常 开 开 ’ alt=‘OCR图片’/> 精细化运维 监控-Redis监控总览 Q Redis状态 监控数据

0 码力 | 41 页 | 4.90 MB | 1 月前

3

redis启动初始化以后占用内存 6) (integer) 9942928 7) "replication.backlog" // 主从复制断开重连时会用到，默认10MB 8) (integer) 1048576 9) "clients.slaves" // 主从复制用到的内存 10) (integer) 16858 11) "clients.normal" // 普通用户客户端的读写缓冲区 服务封装 HA 切换系统，时时探测主节点的异常情况，可以有效解决磁盘 IO 故障，CPU 故障等问题导致的服务异常，及时进行主备切换从而保证服务高可用。 主备复制机制 阿里云针对 Redis 主从复制机制进行了定制修改，采用增量日志格式进行复制传输。当主备复制中断后，对系统性能及稳定性影响极低，有效避免 Redis 原生复制的弊端。 Redis 原生复制弊端简要如下： Redis 复制中断后，Slave

ShardingSphere 提供数据库发现的能力，自动感知数据库主从关系，并修正计算节点对数据库的连接。 目前支持的高可用方案： • MySQL MGR 单主模式 • MySQL 主从复制模式 • openGauss 主从复制模式。 ## Apache ShardingSphere 高可用介绍 ![Image](/uploads/documents/8/3/3/7/8337acd6f133512f

内存存储和基于多路复用的事件响应系统，确保了命令请求的执行速度和效率 - 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化方式（AOF、RDB、RDB+AOF 混合） - 强大的多机功能支持：主从复制（单主多从）、Sentinel（高可用）、集群（基于 Raft 算法，多主多从，内建高可用） ## 特点 - 具有多种不同的数据结构可用，其中包括：字符串、散列、列表、集合、有序集合、位图（ b 内存存储和基于多路复用的事件响应系统，确保了命令请求的执行速度和效率 - 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化方式（AOF、RDB、RDB+AOF 混合） - 强大的多机功能支持：主从复制（单主多从）、Sentinel（高可用）、集群（基于 Raft 算法，多主多从，内建高可用） - 拥有无限可能性的扩展模块系统：神经网络、全文搜索、JSON 数据结构等等。 ## 数据结构 data

procurer 的 group）定时发送到，brokerAddrTable 集合中列出的 broker 上去 Producer 发送消息只发送到 master 的 broker 机器，在通过 broker 的主从复制机制拷贝到 broker 的 slave 上去 ## 二 ：Producer 如何发送消息 Producer 轮询某 topic 下的所有队列的方式来实现发送方的负载均衡  // 没有理解意图 long readOffset = this.byteBufferRead.getLong(pos - 8); this.processPosition = pos; 主从复制 从哪里开始复制：如果请求时 0 ，从最后一个文件开始复制 Slave 启动的时候 brokerController 开启定时任务定时拷贝 master 的配置信息 SlaveSynchronize

 ## 1 读写压力 多机集群 主从复制 高可用性 故障转移 主从切换 容量问题 数据库拆分 分库分表 一致性问题 分布式事务 XA/柔性事务 ![Image](/uploads/documents/d/0/5/7/d

Lag》这一章节。 ### 2.2 多主节点复制 前文介绍的主从复制模型中存在一个比较严重的弊端，就是所有写请求都需要经过主 节点，因为只存在一个主节点，就很容易出现性能问题。虽然有从节点作为冗余应对容错，但对于写入请求实际上这种复制方式是不具备扩展性的。 此外，如果客户端来源于多个地域，不同客户端所感知到的服务相应时间差距会非常大。因此，有些系统顺着传统主从复制进行延伸，采用多个主节点同时承担写请求，主节点 ### a. 多数据中心部署 一般采用多主节点复制，都是为了做多数据中心容灾或让客户端就近访问（用一个高 大上的名词叫做异地多活)，在同一个地域使用多主节点意义不大，在多个地域或者数据中心部署相比主从复制模型有如下的优势： - 性能提升：性能提升主要表现在两个核心指标上，首先从吞吐方面，传统的主从模型所有写请求都会经过主节点，主节点如果无法采用数据分区的方式进行负载均衡，可能存在性能瓶颈，采用多 行读取多个副本时，读到了过期的数据，可以将数据写入到旧副本中，以便追赶上新副本。 2. 反熵查询，一些系统在副本启动后，后台会不断查找副本之间的数据 diff，将 diff 写到自己的副本中，与主从复制模式不同的是，此过程不保证写入的顺序，并可能引发明显的复制滞后。 ## 读写 Quorum 上文中的实例我们可以看出，这种复制模式下，要想保证读到的是写入的新值，每次只从一个副本读取显然是有问题