ZABBIX 2020 Conference CHINA ## 演讲主题 主从监控项经验分享 演讲嘉宾 伍昕 宏时数据 ## 01 ## 主从监控项简介 ## Zabbix的一个使用场景 场景： Zabbix的一次数据采集可能获取多个值，（比如与第三方系统对接，获取数据库所有状态） show global variables;  Zabbix server ## 主从监控项 ## Dependent Items ## http://exporter_ip:9100/metrics ## ← → C A 不安全 | 100/metrics ![Image] [Image](/uploads/documents/f/6/0/6/f606e54d63103b4f464b7faff02d17fb/p4_2.jpg) Zabbix server Dependent Items ## 主从监控项 # Zabbix的一个使用场景 将Zabbix的一次数据采集获取到的多个值，分别赋值给各个从属监控项 2步操作 2个Zabbix的功能 第一步： (相关项目) 监控项 DEPENDENT

在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb ## Redis 问题 ## • 一主多从, 主从切换代价大 ## – 主库挂掉后升级从库, 所有的从库全部重传数据 ## Redis 中，Type类型依次为kFirstType，若干kMiddleType和kLastType ## 主从同步-- slaveof  ## 主从同步-- slaveof  图1 Pika的主从命令同步框架图 ## Pika 遇到问题 ## • 秒删 – 通过修改Rocksdb, 增加 version, timestamp 字段.删除只需要修改metadata – 支持亿级别数据秒删 ## Pika 遇到问题 ## • 数据compact ## – 修改Rocksdb

大纲 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 Slave1 ## MySQL 容器化目标 - 快速部署 MySQL 主从集群 - 支持 MySQL 集群高可用 - 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 ![Image](/uploads/documents/4/7/

syscalls and file descriptors can be mixed together - 系统调用：与内核交互的途径 • 内核：与硬件交互的途径 系统调用将会触发上下文切换 • 上下文切换将会消耗时间 系统调用和文件描述符可以连用 ## Basic socket operations 基础的 socket 操作 ![Image](/uploads/documents/6/

双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务 北2（北京）可用D开通实例。公测期间仅支持在这这两个可用区开通混合存储系列实例，其他地域及可用区暂不支持。 ## 公测开通规格 - 公测期间仅开放32G内存64G磁盘及64G磁盘128G内存两款主从版本规格供用户选用，用户可任选一款规格免费试用两个月。 - 公测期间仅支持预付费模式的混合存储系列实例，按量付费暂不支持。  (integer) 9942928 7) "replication.backlog" // 主从复制断开重连时会用到，默认10MB 8) (integer) 1048576 9) "clients.slaves" // 主从复制用到的内存 10) (integer) 16858 11) "clients.normal" // 普通用户客户端的读写缓冲区

1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 有了新的称号，那就得更加努力，朝着优秀努力，在2019年我又陆续发表了20几篇关于RocketMQ相关的文章，这些文章含金量极高，不仅及时跟进了RocketMQ4.3.0之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于2019年RocketMQ官方社区授予我优秀布道师荣誉称号。 RocketMQ RocketMQ4.4 版本，4.5 版本引入了多副本机制，实现了主从自动切换，本文并不关心主从切换功能。 ## 一、 初识主从同步 主从同步基本实现过程如下图所示：  RocketMQ 的主从同步机制如下: ·首先启动 Master 并在指定端口监听；

服务停止后，服务器能自动跳转到备用机，当主服务器服务启动起来后会自动切换回来。 ### 2.2 方案架构图  ### 2.3 方案优缺点 优点： ✓ 安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性多方面进行切换。 ✓ 可以将写 VIP 和读 VIP 件替换或者不替换需要通过其他方式实现，比如：临时更改 mysql 的端口等。 ✓ 切换需要 1s 左右的时间。 ### 2.4 方案实战 #### 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是非常方便的。 #### 2.4.2 net/uid-20639775-id-3168737.html #### 2.4.4 Mysql 的主主同步配置 Mysql 的主主同步这里也不做介绍了，有兴趣的话可以看一下我博文中关于 mysql 主从同步管理的介绍，主主同步和主从同步差不多，只是互为主从而已，链接如下： http://blog.chinaunix.net/uid-20639775-id-3254611.html #### 2.4.5 L vs 的安装

... 61 3.3.2 挑战 ..... 62 3.3.3 目标 ..... 62 3.3.4 核心概念 ..... 62 主库 ..... 62 从库 ..... 62 主从同步 ..... 62 负载均衡策略 ..... 62 3.3.5 使用规范 ..... 62 支持项 ..... 62 不支持项 ..... 63 3.4 分布式治理 .... 次数增加，进而导致查询性能的下降；同时，高并发访问请求也使得集中式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态型，能够达到较小成本的随意扩容，这必然导致系统的最终压力都落在数据库之上。而单一的数据节点，或者简单的主从架构，已经越来越难以承担。数据库的可用性，已成为整个系统的关键。 从运维成本方面考虑，当一个数据库实例中的数据达到阈值以上，对于 DBA 的运维压力就会增大。数据备份和恢复的时间成本都将随着数据量 阻断路由 阻断路由用于屏蔽 SQL 对数据库的操作，例如： USE order_db; 这个命令不会在真实数据库中执行，因为 ShardingSphere 采用的是逻辑 Schema 的方式，无需将切换数据库 Schema 的命令发送至数据库中。 路由引擎的整体结构划分如下图。 ![Image](/uploads/documents/7/5/1/6/7516f57d93daf4ed5df5741dc109d33d/p39_1