演讲主题 演讲嘉宾 主从监控项经验分享 伍昕 宏时数据 01 主从监控项简介 主从监控项 Dependent Items show global variables; 场景： Zabbix的一次数据采集可能获取多个值，（比如与第三方系统对接，获取数 据库所有状态） Zabbix的一个使用场景 主从监控项 Dependent Items http://exporter_ip:9100/metrics http://exporter_ip:9100/metrics 主从监控项 Dependent Items Zabbix的一个使用场景 主从监控项 将Zabbix的一次数据采集获取到的多个值，分别赋值给各个从属监控项 （相关项目）监控项 DEPENDENT ITEM 数据预处理 PREPROCESSING 第一步： 第二步： 2步操作 2个Zabbix的功能 主监控项准备 Dependent Items 创建一个自定义监控项： ent/start_zabbix.sh restart 主从监控项 Dependent Items 第一步：配置一个（相关项目）监控项 Item PropertiesàType àDepdent itemàMaster item àDone 创建监控项 à监控项类型à依赖监控项 à选择“主监控项” à 配置结束 主从监控项 Dependent Items 第一步：配置一个依赖监控项

104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 4 RocketMQ HA 核心工作机制 温馨提示：建议参考代码 RocketMQ4.4 版本，4.5 版本引入了多副本机制，实现了 主从自动切换，本文并不关心主从切换功能。 一、初识主从同步 主从同步基本实现过程如下图所示： RocketMQ 的主从同步机制如下：  首先启动 Master 并在指定端口监听；  客户端启动，主动连接 Master，建立 TCP 连接；  客户端以每隔

2（北京）可用D开通实例。公测期间仅支持这在 这两个可用区开通混合存储系列实例，其他地域及可用区暂不支持。 公测开通规格 公测期间仅开放32G内存64G磁盘及64G磁盘128G内存两款主从版本规格供用户选用，用户可任选一 款规格免费试用两个月。 公测期间仅支持预付费模式的混合存储系列实例，按量付费暂不支持。 Redis 4.0 新功能介绍 云数据库 Redis //redis启动初始化以后占用内存 6) (integer) 9942928 7) "replication.backlog" //主从复制断开重连时会用到，默认10MB 8) (integer) 1048576 9) "clients.slaves" // 主从复制用到的内存 10) (integer) 16858 11) "clients.normal" //普通用户客户端的读写缓冲区 12) 开放地域 开放单节点的售卖地域有华北1、华北2、华南1、华东1、华东2。 Redis 标准版-双副本 简介 云数据库 Redis 标准版-双副本模式采用主从（Replication）模式搭建。主节点提供日常服务访问，备节点提 供 HA 高可用，当主节点发生故障，系统会自动在30秒切换至备节点，保证业务平稳运行。 云数据库 Redis 版 产品简介

⽤户可以构建起⼀种乐观锁机制， 这种机制可以确保事务只会在指定键 没有发⽣任何变化的情况下执⾏。 18. 复制 Redis 的复制功能是 Redis 提供的多机功能中最基础的⼀个， 这个功能是通过主从复制（master-slave replication）模式实现的， 它允许⽤户为储存着⽬标数据库的服务器创建出多个拥有相同数据库副本的服务器， 其中储存⽬标数据库的服务器被称为主服务器（master 启⽤了复制功能的主服务器可以执⾏读写操作，但从服务器默认只能执⾏读操作 对于开启了复制功能的主从服务器， 主服务器在每次执⾏写操作之后， 都会与所有从服务器进⾏数据同步， 以此 来将写操作产⽣的改动反映到各个从服务器之上。 举个例⼦， 在主服务器执⾏了客户端发来的写命令 W 之后， 主服务器会将相同的写命令 W 发送⾄所有从服务器执⾏， 以此来保持主从服务器之间的数据⼀致性， 如图 18-5 所示。 图 18-5 主 系统在主服务器停机时， 将会⾃动挑选⼀个从服务器作为新的主服务器， 以此来继 续为客户提供服务， 避免造成整个系统停机。 在本章接下来的内容中， 我们将会学到： 如何为主服务器创建从服务器， 从⽽开启 Redis 的主从复制功能； 如何查看服务器在复制中担当的⻆⾊以及相关数据； Redis 复制功能的实现原理； 如何在主服务器不创建 RDB ⽂件的情况下实现数据同步； 如何通过复制功能提升不同类型 Redis 命令的执⾏效率；

net/uid-20639775-id-3168737.html 2.4.4 Mysql 的主主同步配置 Mysql 的主主同步这里也不做介绍了，有兴趣的话可以看一下我博文中关 于 mysql 主从同步管理的介绍，主主同步和主从同步差不多，只是互为主 从而已，链接如下： http://blog.chinaunix.net/uid-20639775-id-3254611.html 2.4.5 Lvs 的安装 net/uid-20639775-id-3168737.html 3.5.3 Mysql 的主主同步配置 Mysql 的主主同步这里也不做介绍了，有兴趣的话可以看一下我博文中关于 mysql 主从同步管理的介绍，主主同步和主从同步差不多，只是互为主从而 已，链接如下：http://blog.chinaunix.net/uid-20639775-id-3254611.html 3.5.4 Lvs 的安装 在 master、backup net/uid-20639775-id-3168737.html 4.5.3 Mysql 的主主同步配置 Mysql 的主主同步这里也不做介绍了，有兴趣的话可以看一下我博文中关于 mysql 主从同步管理的介绍，主主同步和主从同步差不多，只是互为主从而 已，链接如下：http://blog.chinaunix.net/uid-20639775-id-3254611.html 4.5.4 Heardbeat 的安装

问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题 SACC2017 Redis 问题 • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数 offset 进行同步点 检查 – 解决了缓冲区小的问题 – 支持全同步 + 增量同步 SACC2017 日志模块--Binlog SACC2017 主从同步-- slaveof SACC2017 主从同步-- slaveof SACC2017 Pika 遇到问题 • 秒删 – 通过修改Rocksdb, 增加 version, timestamp 字段.删除只需要修改metadata • 5套30G左右的redis主从，占用300G内存 • 迁移后： • 1套50G左右的pika主从，占用100多G磁盘 SACC2017 Pika 运维 – 案例二 数据分析业务redis迁移到pika 迁移前： 业务数据量增长迅速，上线不到1周数据量增长 到40G 迁移后： 1套100G+ Pika主从 SACC2017 Pika

. . 62 从库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 主从同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 负载均衡策略 . . . 并发访问请求也使得集中 式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态型，能够达到较小成本的随意扩容，这必然导致系统的最终压力 都落在数据库之上。而单一的数据节点，或者简单的主从架构，已经越来越难以承担。数据库的可用性， 已成为整个系统的关键。 从运维成本方面考虑，当一个数据库实例中的数据达到阈值以上，对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随 透明化读写分离所带来的影响，让使用方尽量像使用一个数据库一样使用主从数据库集群，是 Sharding‐ Sphere 读写分离模块的主要设计目标。 3.3.4 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 主从同步 将主库的数据异步的同步到从库的操作。由于主从同步的异步性，从库与主库的数据会短时间内不一致。 负载均衡策略

. . 51 从库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 主从同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 负载均衡策略 . . . 并发访问请求也使得集中 式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态性，能够达到较小成本的随意扩容，这必然导致系统的最终压力 都落在数据库之上。而单一的数据节点，或者简单的主从架构，已经越来越难以承担。数据库的可用性， 已成为整个系统的关键。 从运维成本方面考虑，当一个数据库实例中的数据达到阈值以上，对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随 用一个数据库一样使用主从数据库集群，是 Apache ShardingSphere 读写分离模块的主要设计目标。 4.5.4 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 4.5. 读写分离 51 Apache ShardingSphere document, v5.1.1 主从同步 将主库的数据

. . 52 从库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 主从同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 负载均衡策略 . . . 并发访问请求也使得集中 式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态性，能够达到较小成本的随意扩容，这必然导致系统的最终压力 都落在数据库之上。而单一的数据节点，或者简单的主从架构，已经越来越难以承担。数据库的可用性， 已成为整个系统的关键。 从运维成本方面考虑，当一个数据库实例中的数据达到阈值以上，对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随 。 4.5. 读写分离 51 Apache ShardingSphere document, v5.1.2 4.5.3 目标 透明化读写分离所带来的影响，让使用方尽量像使用一个数据库一样使用主从数据库集群，是 Apache ShardingSphere 读写分离模块的主要设计目标。 源 码：https://github.com/apache/shardingsphere/tree/ma

. . 51 从库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 主从同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 负载均衡策略 . . . 并发访问请求也使得集中 式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态性，能够达到较小成本的随意扩容，这必然导致系统的最终压力 都落在数据库之上。而单一的数据节点，或者简单的主从架构，已经越来越难以承担。数据库的可用性， 已成为整个系统的关键。 从运维成本方面考虑，当一个数据库实例中的数据达到阈值以上，对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随 用一个数据库一样使用主从数据库集群，是 Apache ShardingSphere 读写分离模块的主要设计目标。 4.5.4 核心概念 主库 添加、更新以及删除数据操作所使用的数据库，目前仅支持单主库。 从库 查询数据操作所使用的数据库，可支持多从库。 4.5. 读写分离 51 Apache ShardingSphere document, v5.1.0 主从同步 将主库的数据