事件 ONCALL 中心建设方法 一站式处理值班 OnCall，智能降噪 北京快猫星云科技有限公司 前言 市面上有众多监控系统，刨去商业软件不说，开源的就有 Nagios、Zabbix、Open-Falcon、 Nightingale、Grafana、Prometheus、Elastalert 等等，还有云厂商提供的监控系统，比如华为云的云 监控、腾 Nightingale， 日志的监控可能用的 Elastalert，如果上云了，可能还会有多套不同的云监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 级、协同闭环处理等等。监控系统或多或少都有一些这方面的能力，但是通常都不完备，而这，正是 这种产品存在的价值。这些产品都是以 Duty 命名，核心就是支持告警 OnCall 值班处理的场景。 对于告警事件的后续处理，有哪些问题和需求以及何为最佳实践？我们从思路方法和工具实践两个方面分 别进行探讨，下面先行探讨思路方法，看看要解决这些问题和需求，我们有哪些可能的解法。 思路方法篇 告警事件的后续处理：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升级、协同闭环 处理等等。看起来需求很多，最核心的痛点有两个：

. . . . . . . . . . . . . . 357 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 10 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部分详细介绍了如何使用 Zabbix 对监控环境进行高级概述。 Web 监控 可以帮助您了解如何监控网站的可用性。 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控

. . . . . . . . . . . . . . 337 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部分详细介绍了如何使用 Zabbix 对监控环境进行高级别的概览。 Web 监控 可以帮助您了解如何监控网站的可用性。 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控

. . . . . . . . . . . . . . 659 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732 9 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 528 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 522 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 538 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . 1064 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1087 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1147 9 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Elasticsearch 日志。 如果您仍然遇到安装问题，请创建一个 bug 报告，其中需包含该列表中的所有信息（映射、错误日志、配置、版本等信息）。 6 实时导出事件，监控项采集值，趋势数据 概述 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值和趋势数据。 导出完成后的文件中，每一行都是一个 JSON 对象。值映射不被应用。 如果出现错误（导出文件无法写入数据、无法重命名导出

. . . . . . . . . . . . . . 868 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 939 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . older than this value will be discarded. 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 402 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498 8 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645 13. 事件确认 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .