参考文档：https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f 总体架构 总体架构 T H A N K S !

的告警规则很多，大概率也有问题，说明系统架构不够鲁棒，出点什么事都要立刻介 入，系统没有自愈能力。这样的系统，需要配备更多运维人员，而且还很难跟老板讲清楚价值。怎么办？ 这就需要制定运维准入规则，哪个系统要交给运维人员来运维，首先要提供一些信息。 ● 相关联系人，出了问题能够及时找到人，联系不上的话得能直接联系研发领导。 ● 服务相关信息，比如代码仓库、系统架构、依赖哪些服务、依赖哪些系统参数、哪些 数、哪些 JVM 参数、常 见问题还有处理办法等等。 然后进行准入评审及准入测试，如果系统架构有明显问题，就没办法通过准入要求，不接受运维，如果老 板要求必须接，那就只能加人了，或者明确说明在架构调整好之前，不负责 SLA，反推业务改造。 上面介绍的两个告警规则优化原则，是最重要的两个原则。照做的话，可以搞定大部分无效告警。 除了原则方面，另一个应对过多告警的方法 ，配置位置就在订 阅规则下面，这里不再赘述。 分派策略 告警事件进入 FlashDuty，会自动收敛，目前采用三级收敛：event -> alert -> incident，具体逻辑可 以参考：【思路方法篇】-【告警收敛逻辑】章节。这样的三级收敛机制，会有非常好的降噪效果，大幅减 少打扰。示意图如下： 监控系统会产生原始的告警事件（event），属于同一个告警的

Counter，Histogram 和 Summary 只是为了上报监控数据的 Client 侧的便利，可 以看做是组合使用了 Gauge 和 Counter。所以我们重点就来讲解 Gauge 和 Counter 类型。 Gauge 类型 Gauge 类型的值表示当前的状态，可大可小、可负可正，比如某个虚机实例挂了，用 0 表示， 如果实例存活，用 1 表示；再比如内存使用率，这个时刻采集是 比如接口：/api/v1/query，如何度量这个接口的健康状况？最核心有两个指标，一个是成功 率，一个是延迟，成功率的计算代价比较小，只需要为每个请求指标打上 statuscode 的标签即 可，然后可以求取非 5xx 非 4xx 的请求占比，即可得到成功的数量，除以总量就是成功率。 1 2 3 而对于延迟，如果只是求取平均延迟，代价也比较小，只要把请求总量做成一个 Counter 指

⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点 现状: • 性能 • ⾼高可⽤用 • 分布式 • 使⽤用成本 问题: ? 性能问题 • 本地ssd prometheus Shard A prometheus Shard B prometheus Shard 告警规则: 业务A 慢请求量量 > 10k/s 固定阈值 告警阈值需要随着流量量变化⽽而调整 wrong 建议: 告警规则: 业务A 慢请求⽐比例例 > 80% 案例例2 告警规则: 磁盘容量量可⽤用率 <10% 告警规则: 磁盘容量量预计将于3⼩小时后饱和 0 now -1h +3h predict_linear(node_filesystem_free{}[1h], 3 * 3600)