这种产品，一定程度上是可以解决一些告警过多的问题，但如果能从告警规 则的源头做好优化，自然是事半功倍。很多公司的告警规则配置没有原则可循，每次故障复盘先看告警是 否漏报，一线工程师为了不背锅，自然是尽量多地提高告警覆盖面，但这么做的后果，就是告警过多，无 效告警占多数，长此以往，工程师疲惫不堪。 那么告警规则的配置应该遵照一个什么原则呢？虽然每个公司业务不同，总有一些通用的原则可循吧？的 确如此，这里我分享一下我个人的做法，希望对你有所启发。 比如我们团队是负责公司的支付系统，我们就可以创建一个以“支付”命名的协作空间。之后把支付团队 相关的告警都接入这个协作空间，支付团队可能用了 Zabbix、Prometheus 等多个监控系统，所以， OnCall 这个产品需要提供多种数据集成方式，让告警事件很方便地上报上来。 集成中心 比如要接入 Prometheus 的告警事件，就需要创建一个 Prometheus 类型的集成（Integration），要接 上例中我已经创建过多个集成了，你的环境是新的，只需要点击【+新增一个集成】，选择集成类型，随便 输入一个集成名称，就可以创建一个集成。 创建完了集成之后，点击这个集成查看详情，会看到一个专属的 URL，以及相关的接入文档，去监控系 统里配置 Webhook，Webhook 地址就写这个 URL，这样监控系统告警的时候，就会把告警事件推给 FlashDuty 的这个“支付”协作空间了。 在协作空间

利用夜莺扩展能力打造全方位监控系统 喻波 滴滴 专家工程师 目 录 运维监控需求来源 01 监控痛点：全面完备、跨云 02 夜莺介绍： 国产开源监控系统 03 夜莺设计实现：Agentd 数据采集 04 夜莺设计实现：Server 数据处理 05 夜莺设计实现：技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术，IT故障会直接影响营业收入， 稳定性体系一定要重视起来，而监控，就是稳定性体系中至 稳定性体系一定要重视起来，而监控，就是稳定性体系中至 关重要的一环 运维监控需求来源 01.监控的原始需求来自业务稳定性 左图是2013年的一个新闻，讲 Google宕机的影响。2020年也出现 过aws大规模宕机的情况，影响不 止是55万美元，直接影响大半个 互联网！ 2018年有美国调研机构指出，如 果服务器宕机1分钟，银行会损失 27万美元，制造业会损失42万美 元 美团故障？滴滴故障？腾讯故障？

2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 假设某个 Pod 是接入层的，统计了很多 HTTP 请求相关的指标，我们想统计 5xx 的请求数量， 希望能按 Pod 的 version 画一个饼图。这里有个难点：接入层这个 Pod 没有 version 标签， version 信息只是出现在 kube_pod_labels 中，如何让二者联动呢？上答案：

业务爆发式增⻓长 • 运维要求⾼高 当前情况: • 覆盖率低 • 误报，漏漏报多 • 告警⻛风暴暴 监控问题爆发: 重新定义的监控系统 ✦ 完整的监控体系 ✦ 科学的告警策略略 ✦ 统⼀一的告警中⼼心 完整的监控体系 • 虚拟机 • 物理理设备 • 容器器 • 专线质量量 • 机房出⼝口质量量 • 交换设备 • http • tcp • ping