事件 ONCALL 中心建设方法 一站式处理值班 OnCall，智能降噪 北京快猫星云科技有限公司 前言 市面上有众多监控系统，刨去商业软件不说，开源的就有 Nagios、Zabbix、Open-Falcon、 Nightingale、Grafana、Prometheus、Elastalert 等等，还有云厂商提供的监控系统，比如华为云的云 监控、腾 Nightingale， 日志的监控可能用的 Elastalert，如果上云了，可能还会有多套不同的云监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 级、协同闭环处理等等。监控系统或多或少都有一些这方面的能力，但是通常都不完备，而这，正是 这种产品存在的价值。这些产品都是以 Duty 命名，核心就是支持告警 OnCall 值班处理的场景。 对于告警事件的后续处理，有哪些问题和需求以及何为最佳实践？我们从思路方法和工具实践两个方面分 别进行探讨，下面先行探讨思路方法，看看要解决这些问题和需求，我们有哪些可能的解法。 思路方法篇 告警事件的后续处理：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升级、协同闭环 处理等等。看起来需求很多，最核心的痛点有两个：

LTS，中文为长生命周期支持）版本正式发布， 为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个企业、团队、独立开发者 协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 Linux Kernel 6.1 内核，为未来 openEuler 长生命周 期版本采用 6.x 内核提前进行技术探索，方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日，发布 openEuler 22.03 LTS SP2 版本，场景化竞争力特性增强，性能持续提升。 openEuler 版本管理 长生命周期版本 openEuler 20.03 LTS openEuler openEuler 22.03 LTS 创新版本 openEuler 22.09 openEuler 23.03 长生命周期版本 : 每两年发布一次，在创 新版本基础上提供长生命周期管理，维护 性能，可靠性和兼容性 创新版本 : 长生命周期版本之间每半年发 布一次，集成 openEuler 以及其他社区最 新版本技术进展。 openEuler 社区主线 20.03 首个创新版 内核创新版 云原生创新版

括华为、华三、EasyStack、UnitedStack、海云捷讯等。 青云 一个国产商业化私有云平台，公有云平台。 云管理平台 是一种统一纳管虚拟化平台、私有云、公有云，整合对外提供在线运行环 境服务及全生命周期管理的平台。 F5 主流的硬件负载均衡产品，一直以来市场占有率非常高，直到 2021 年 3 月才被深信服超越。 华为 Agile Controller 华为硬件 SDN 产品 容器云 、灵雀云等。 杭州飞致云信息科技有限公司 9 云账号 用于 Human 用户登录云平台 Web 控制台的账号，以及用于给应用通过 API 操作云平台需要的授权云平台 API 账号。 项目生命周期 指项目从开发测试、投产到系统运维、应用运维的整个过程。 应用系统 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的虚拟机、 杭州飞致云信息科技有限公司 12 下的资源，而其他人员则看不到这些资源。 服务目录 指 IT 给其内部团队、外部团队提供服务的一种方式。 产品模版 产品模版用于定义某个云平台虚拟机部署时的参数选项范围、默认值以及 在申请侧和管理侧是否可见选项及是否可修改。 中间件 中间件是介于应用系统和系统软件之间的一类软件，它使用系统软件所提 供的基础服务（功能），衔接网络上应用系统的各个部分或不同的应用，

LTS，中文为长生命周期支持）版本正式发布， 为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个企业、团队、独立开发者 协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 openEuler 长生命周 期版本采用 6.x 内核提前进行技术探索，方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日，发布 openEuler 22.03 LTS SP2 版本，场景化竞争力特性增强，性能持续领先。 2023 年 9 月 30 日，发布 openEuler 23.09 创新版本，是基于 6.4 内核的创新版本（参见版本生命周期），提供更多 openEuler 版本管理 长生命周期版本 openEuler 20.03 LTS openEuler 22.03 LTS 创新版本 openEuler 22.09 openEuler 23.09 openEuler 23.03 长生命周期版本 : 每两年发布一次，在创 新版本基础上提供长生命周期管理，维护 性能，可靠性和兼容性 创新版本 : 长生命周期版本之间每半年发 布一次，集成

LTS，中文为长生命周期支持）版本正式发布，为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个企业、团队、独立开发者协同开 发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 openEuler 长生命周期版本 采用 6.x 内核提前进行技术探索，方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日，发布 openEuler 22.03 LTS SP2 版本，场景化竞争力特性增强，性能持续提升。 2023 年 9 月 30 日，发布 openEuler 23.09 创新版本，是基于 6.4 内核的创新版本（参见版本生命周期），提供更多新特性和功能， 算和嵌入式场景，持续提供更多新特性和功能扩展，给开发者和用户带来全新的体验，服务更多的领域和更多的用户。 2024 年 5 月 30 日，发布 openEuler 24.03 LTS，基于 6.6 内核的长周期 LTS 版本（参见版本生命周期），面向服务器、云、 边缘计算、AI 和嵌入式场景，提供更多新特性和功能，给开发者和用户带来全新的体验，服务更多的领域和更多的用户。 openEuler 版本管理 03 openEuler

2.4.3 MDS1、MDS2、MDS3的租约全部过期 4.2.4.4 总结 4.2.5 异常情况四: Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡 后要再次判断自身的key值是否还存在，如果存在才能认为竞选成功。 3.3 Observe的流程© XXX Page 15 of 30 1. 2. observe的功能在上面说过，主要用于监听leader的变化。 获取[指定prefix的key, 创建版本号最小]kv值， 如果不存在，会一直等待到有指定prefix的key创建为止。 如果存在，监听该key值，如果key被删除，回到1的操作。 此时会有两件事情发生, 顺序不定： 一是MDS1定期去get Leader/MDS1失败后MDS退出 [事件1] 二是MDS2收到Leader/MDS1被删除，MDS2开始提供服务 [事件2] 如果事件1先发生，那么就是MDS1退出后，MDS2再当选为leader, 如果事件2先发生，那么就是MDS2当选为leader时，MDS1还在提供服务， ，这是有问题的。 出现双主 双主出现的时

有可靠开源软件供应链，是大规模商用操作系统的基础。 openEuler 从用户场景出发，回溯梳理相应的软件依赖关系，理清所有软件包的上游社区地址，源码和上游对应验证。完 成构建验证、分发、实现生命周期管理。开源软件的构建、运行依赖关系，上游社区，三者之前形成闭环且完整透明的软 件供应链管理。 嵌入式 服务器 基础公共服务 服务器 云计算 边缘 欧拉开源操作系统（openEuler LTS，中文为长生命周期支持）版本正 式发布，为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个公司、团队、独立开发者 协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 openEuler 20.09 openEuler 21.03 openEuler 21.09 长生命周期版本 创新版本 openEuler 社区主线 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 全场景长周期版

. . . . . . . . . . . . . . 337 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部分详细介绍了如何使用 Zabbix 对监控环境进行高级别的概览。 Web 监控 可以帮助您了解如何监控网站的可用性。 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控

LTS，中文为长生命周期支持）版本正式发布， 为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个公司、团队、独立开发者 协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 LTS openEuler 20.09 openEuler 21.03 openEuler 21.09 长生命周期版本 创新版本 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 20.03 20.09 有可靠开源软件供应链，是大规模商用操作系统的基础。 openEuler 从用户场景出发，回溯梳理相应的软件依赖关系，理清所有软件包的上游社区地址，源码和上游对应验证。完成 构建验证、分发、实现生命周期管理。开源软件的构建、运行依赖关系，上游社区，三者之前形成闭环且完整透明的软件 供应链管理。 嵌入式 服务器 基础公共服务 服务器 云计算 边缘 Intel Linaro Red Hat

. . . . . . . . . . . . . . 659 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732 9 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 883 1 虚拟机发现 key 值字段信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887