ZABBIX 2020 Conference CHINA ## 演讲主题 主从监控项经验分享 演讲嘉宾 伍昕 宏时数据 ## 01 ## 主从监控项简介 ## Zabbix的一个使用场景 场景： Zabbix的一次数据采集可能获取多个值，（比如与第三方系统对接，获取数据库所有状态） show global variables;  Zabbix server ## 主从监控项 ## Dependent Items ## http://exporter_ip:9100/metrics ## ← → C A 不安全 | 100/metrics ![Image] [Image](/uploads/documents/f/6/0/6/f606e54d63103b4f464b7faff02d17fb/p4_2.jpg) Zabbix server Dependent Items ## 主从监控项 # Zabbix的一个使用场景 将Zabbix的一次数据采集获取到的多个值，分别赋值给各个从属监控项 2步操作 2个Zabbix的功能 第一步： (相关项目) 监控项 DEPENDENT

在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb ## Redis 问题 ## • 一主多从, 主从切换代价大 ## – 主库挂掉后升级从库, 所有的从库全部重传数据 ## Redis 中，Type类型依次为kFirstType，若干kMiddleType和kLastType ## 主从同步-- slaveof  ## 主从同步-- slaveof  图1 Pika的主从命令同步框架图 ## Pika 遇到问题 ## • 秒删 – 通过修改Rocksdb, 增加 version, timestamp 字段.删除只需要修改metadata – 支持亿级别数据秒删 ## Pika 遇到问题 ## • 数据compact ## – 修改Rocksdb

大纲 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 Slave1 ## MySQL 容器化目标 - 快速部署 MySQL 主从集群 - 支持 MySQL 集群高可用 - 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 ![Image](/uploads/documents/4/7/

syscalls and file descriptors can be mixed together - 系统调用：与内核交互的途径 • 内核：与硬件交互的途径 系统调用将会触发上下文切换 • 上下文切换将会消耗时间 系统调用和文件描述符可以连用 ## Basic socket operations 基础的 socket 操作 ![Image](/uploads/documents/6/

高可用和集群架构与实践 主从复制-sentinel架构 高可用原理 发现原理基本切换原理 环境搭建 部署架构 网络规划 用户规划 持久化规划 目录规划 部署步骤 配置文件 维护操作 完整启动 启停redis 手动启动 启停sentinel 查看sentinel状态 查看master地址和端口 查看master配置 重置该sentinel 动态修改sentinel配置 主动切换 主从是否完全一致 接收所有事件信息 高可用和异常测试 测试环境介绍 手动切换测试 主实例宕测试 单从实例宕测试 双从实例宕测试 单sentinel宕测试 双sentinel宕测试 master所在主机整体宕测试 slave所在主机整体宕测试 脑裂测试 quorum测试 Master hang死测试 附：sentinel.conf被修改后的含义 附：sentinel事件含义 其他问题 只读性事件通知虚拟IP切换持久化动态修改 Sentinel最大连接数 Sharding架构（Redis3.0Cluster） 可用与分片原理 集群数据分片 集群的主从复制模型 一致性保证 环境搭建 安装部署集群配置参数 维护操作 连接集群 查看集群状态 查看集群节点状态 增加节点 删除节点 查看slot分配情况 查看key位于哪个slot 查看slot包含的键值对数量 返回 count 个 slot 槽中的键 重置节点 切换主从关系 Sharding架构（Twemproxy）高可用原理 致谢

双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务 北2（北京）可用D开通实例。公测期间仅支持在这这两个可用区开通混合存储系列实例，其他地域及可用区暂不支持。 ## 公测开通规格 - 公测期间仅开放32G内存64G磁盘及64G磁盘128G内存两款主从版本规格供用户选用，用户可任选一款规格免费试用两个月。 - 公测期间仅支持预付费模式的混合存储系列实例，按量付费暂不支持。  (integer) 9942928 7) "replication.backlog" // 主从复制断开重连时会用到，默认10MB 8) (integer) 1048576 9) "clients.slaves" // 主从复制用到的内存 10) (integer) 16858 11) "clients.normal" // 普通用户客户端的读写缓冲区

1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 有了新的称号，那就得更加努力，朝着优秀努力，在2019年我又陆续发表了20几篇关于RocketMQ相关的文章，这些文章含金量极高，不仅及时跟进了RocketMQ4.3.0之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于2019年RocketMQ官方社区授予我优秀布道师荣誉称号。 RocketMQ RocketMQ4.4 版本，4.5 版本引入了多副本机制，实现了主从自动切换，本文并不关心主从切换功能。 ## 一、 初识主从同步 主从同步基本实现过程如下图所示：  RocketMQ 的主从同步机制如下: ·首先启动 Master 并在指定端口监听；

服务停止后，服务器能自动跳转到备用机，当主服务器服务启动起来后会自动切换回来。 ### 2.2 方案架构图  ### 2.3 方案优缺点 优点： ✓ 安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性多方面进行切换。 ✓ 可以将写 VIP 和读 VIP 件替换或者不替换需要通过其他方式实现，比如：临时更改 mysql 的端口等。 ✓ 切换需要 1s 左右的时间。 ### 2.4 方案实战 #### 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是非常方便的。 #### 2.4.2 net/uid-20639775-id-3168737.html #### 2.4.4 Mysql 的主主同步配置 Mysql 的主主同步这里也不做介绍了，有兴趣的话可以看一下我博文中关于 mysql 主从同步管理的介绍，主主同步和主从同步差不多，只是互为主从而已，链接如下： http://blog.chinaunix.net/uid-20639775-id-3254611.html #### 2.4.5 L vs 的安装