Introduction Background Operations & observability Outro Intro to Prometheus With a dash of operations & observability Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz 2018-12-12 Richard Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Intro to Prometheus Introduction Background Operations & observability Outro Who are we? Richard ”RichiH” Hartmann Swiss army chainsaw at SpaceNet DebConf, DENOGx, PromCon staff Prometheus team member Frederic Branczyk Red Hat (previously CoreOS) All things Prometheus / Kubernetes Kubernetes SIG-Instrumentation lead Prometheus team member Richard Hartmann

Outro Prometheus Deep Dive Monitoring. At scale. Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz 2018-12-12 Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Prometheus Deep DebConf, DENOGx, PromCon staff Prometheus team member Frederic Branczyk Red Hat (previously CoreOS) All things Prometheus / Kubernetes Kubernetes SIG-Instrumentation lead Prometheus team member Richard Hartmann @fredbrancz Prometheus Deep Dive Introduction Intro 2.0 to 2.2.1 2.4 - 2.6 Beyond Outro Show of hands Who has heard of Prometheus? Who is considering to use Prometheus? Who is POCing Prometheus? Who uses

PromQL 从⼊⻔到精通 对于 Prometheus 生态的监控系统，PromQL 是必备技能，本文着重点讲解这个查询语言，掺 杂一些生产实践场景，希望对你有所帮助。 ? 本文作者：秦晓辉，Open-Falcon、Nightingale 等开源项目创始人之一，极客时间《运 维监控系统实战笔记》作者；当前在创业（快猫星云联创），为客户提供监控/可观测性产品 方案，有需求的朋友欢迎联系我的微信 方案，有需求的朋友欢迎联系我的微信 picobyte。 数据类型 Prometheus 有四种数据类型：Gauge、Counter、Histogram、Summary，其中最关键的是 Gauge 和 Counter，Histogram 和 Summary 只是为了上报监控数据的 Client 侧的便利，可 以看做是组合使用了 Gauge 和 Counter。所以我们重点就来讲解 Gauge 和 Counter 类型。 2022-08-25 15:48:03 这个时 刻，未必恰好有监控数据啊，那这个 Table 中的数据是哪里来的？ 实际上，Prometheus 有个启动参数，--query.lookback-delta=2m 来控制这个行为，如果配 置为 2m，就表示，Prometheus 会查询 2022-08-25 15:46:03 ~ 2022-08-25 15:48:03 这 2 分钟之间的数据，然后返回最新的那个。

Developer Prometheus team member Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH OpenMetrics Introduction Quick intro OpenMetrics Outro Prometheus What’s What’s Prometheus? You can’t talk about OpenMetrics without mentioning Prometheus Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH OpenMetrics Introduction Quick Quick intro OpenMetrics Outro Prometheus What’s Prometheus? Show of hands: Who has heard of Prometheus? Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH

• prometheus • ⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点 现状: • 性能 • ⾼高可⽤用 • 分布式 • 使⽤用成本 问题: ? 性能问题 • 本地ssd prometheus Shard A prometheus Shard Shard B prometheus Shard C targets hash • horizontal sharding
 (实验性质使⽤用) • prometheus 2.0 (tsdb) HA prometheus server1 server2 server3 prometheus IDC HA prometheus server1 server2 server3 server3 prometheus IDC Federation pr s s s pr I pr s s s pr I IDC1 IDC2 prometheus prometheus filter数据 精度降低 建议 降低使⽤用成本 agent prometheus target target target alert_manager 告警平 服务 cache

参考文档：https://ganeshvernekar.com/blog/prometheus-tsdb-the-head-block/ ⚫ • • • • ⚫ • • • ⚫ • • 计算指标需要多少内存 https://www.robustperception.io/how-much-ram-does-prometheus-2-x-need-for-cardinality-and-ingestion ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ prometheus alert: https://github.com/feiyu563/PrometheusAlert.git prometheus kafka adapt: https://github.com/Telefonica/prometheus-kafka-adapter.git ⚫ ⚫ 参考文档：https://valyala 参考文档：https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f 总体架构 总体架构 T H A N K S !

Nightingale、Grafana、Prometheus、Elastalert 等等，还有云厂商提供的监控系统，比如华为云的云 监控、腾讯云的云监控、阿里云的云监控，甚至有些云厂商会提供多个割裂的监控系统，比如阿里云不但 有云监控，还有 ARMS，还有 SLS。 大部分公司都不会只使用一套监控系统，网络设备的监控可能采用的 Zabbix，Kubernetes 的监控可能 用的 Prometheus（Kubernetes Prometheus（Kubernetes 可能有多套，以至于 Prometheus 可能有多套）或者 Nightingale， 日志的监控可能用的 Elastalert，如果上云了，可能还会有多套不同的云监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 间。之后把支付团队 相关的告警都接入这个协作空间，支付团队可能用了 Zabbix、Prometheus 等多个监控系统，所以， OnCall 这个产品需要提供多种数据集成方式，让告警事件很方便地上报上来。 集成中心 比如要接入 Prometheus 的告警事件，就需要创建一个 Prometheus 类型的集成（Integration），要接 入 Nightingale 的告警事件，就需要创建一个