Introduction Background Operations & observability Outro Intro to Prometheus With a dash of operations & observability Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz 2018-12-12 Richard Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Intro to Prometheus Introduction Background Operations & observability Outro Who are we? Richard ”RichiH” Hartmann Swiss army chainsaw at SpaceNet DebConf, DENOGx, PromCon staff Prometheus team member Frederic Branczyk Red Hat (previously CoreOS) All things Prometheus / Kubernetes Kubernetes SIG-Instrumentation lead Prometheus team member Richard Hartmann

Outro Prometheus Deep Dive Monitoring. At scale. Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz 2018-12-12 Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Prometheus Deep DebConf, DENOGx, PromCon staff Prometheus team member Frederic Branczyk Red Hat (previously CoreOS) All things Prometheus / Kubernetes Kubernetes SIG-Instrumentation lead Prometheus team member Richard Hartmann @fredbrancz Prometheus Deep Dive Introduction Intro 2.0 to 2.2.1 2.4 - 2.6 Beyond Outro Show of hands Who has heard of Prometheus? Who is considering to use Prometheus? Who is POCing Prometheus? Who uses

第三届中国 Rust 开发者大会 PromQL Got a BOOST: 用 Rust 重写 Prometheus 的查询引擎 Ruihang Xia @greptime.com Ruihang GitHub: waynexia Losing hair at Greptime Wanna sleep 10 hrs/day Learn JS every year Healing 02 the Engine 03 Rust Gives 04 Outlook 05 01 Background About Prometheus and PromQL Why rewrite? What are boosted? PROMETHEUS AND PROMQL The de facto standard in cloud-native monitor scenario rate(api_request_duration{host=“foo”}[5m]) More than a monitor: alert, visualize with many integrations PROMETHEUS AND PROMQL rate(api_request_duration{host=“foo”}[5m]) Operator Data Filter Range SELECT rate(val)

PromQL 从⼊⻔到精通 对于 Prometheus 生态的监控系统，PromQL 是必备技能，本文着重点讲解这个查询语言，掺 杂一些生产实践场景，希望对你有所帮助。 ? 本文作者：秦晓辉，Open-Falcon、Nightingale 等开源项目创始人之一，极客时间《运 维监控系统实战笔记》作者；当前在创业（快猫星云联创），为客户提供监控/可观测性产品 方案，有需求的朋友欢迎联系我的微信 方案，有需求的朋友欢迎联系我的微信 picobyte。 数据类型 Prometheus 有四种数据类型：Gauge、Counter、Histogram、Summary，其中最关键的是 Gauge 和 Counter，Histogram 和 Summary 只是为了上报监控数据的 Client 侧的便利，可 以看做是组合使用了 Gauge 和 Counter。所以我们重点就来讲解 Gauge 和 Counter 类型。 2022-08-25 15:48:03 这个时 刻，未必恰好有监控数据啊，那这个 Table 中的数据是哪里来的？ 实际上，Prometheus 有个启动参数，--query.lookback-delta=2m 来控制这个行为，如果配 置为 2m，就表示，Prometheus 会查询 2022-08-25 15:46:03 ~ 2022-08-25 15:48:03 这 2 分钟之间的数据，然后返回最新的那个。

are the property of their respective owners. 摘要 摘要 本文提供有关在 OpenShift Container Platform 中配置和使用 Prometheus 监控堆栈的说明。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ALERTMANAGER 实 实例 例 3.1. 在时间序列和警报中附加额外标签 3.2. 为监控组件设置日志级别 3.3. 为 PROMETHEUS 启用查询日志文件 3.4. 为 THANOS QUERIER 启用查询日志记录 第 第 4 章 章 为 为 PROMETHEUS ADAPTER 设 设置 置审计 审计日志 日志级别 级别 4.1. 禁用默认的 GRAFANA 部署 4.2. 禁用本地 访问第三方监控 UI 12.2. 访问第三方监控 WEB 服务 API 12.3. 使用 PROMETHEUS 的联邦端点查询指标 12.4. 其他资源 第 第 13 章 章 监 监控 控问题 问题的故障排除 的故障排除 13.1. 检查为什么用户定义的指标不可用 13.2. 确定为什么 PROMETHEUS 消耗大量磁盘空间 第 第 14 章 章 CLUSTER MONITORING OPERATOR

app level. ● Key - value data model with powerful PromQL. ● Emerging open source community.Prometheus 2.0 - deal with dynamic nature ● Storage engine redesign & reimplementation ○ Save more CPU, one or more prometheus per cluster ○ hashmod sharding Node Node Node Node Node Node Node Node Node Hashmod = 0 Hashmod = 1 Hashmod = 2 prometheus0 prometheus1 prometheus2Prometheus at scale ● In the old days… ○ one or more prometheus per cluster ○ hashmod sharding Almost works... prometheus prometheus prometheus

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.2.21. Prometheus. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21. PROMETHEUS The Decanter Prometheus collector is able to periodically (scheduled collector) read Prometheus servlet output to create events sent in Decanter. The decanter-collector-prometheus feature feature installs the Prometheus collector: karaf@root()> feature:install decanter-collector-prometheus The feature also installs the etc/org.apache.karaf.decanter.collector.prometheus.cfg configuration

Developer Prometheus team member Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH OpenMetrics Introduction Quick intro OpenMetrics Outro Prometheus What’s What’s Prometheus? You can’t talk about OpenMetrics without mentioning Prometheus Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH OpenMetrics Introduction Quick Quick intro OpenMetrics Outro Prometheus What’s Prometheus? Show of hands: Who has heard of Prometheus? Richard Hartmann, RichiH@{freenode,OFTC,IRCnet}, richih@{fosdem,debian,richih}.org, @TwitchiH

天凌晨，log 会自动轮转使用一个新的文件，并且将以前的文件改名备份 Prometheus Push Gateway 地址 默认: “” 如果为空，TiDB 不会将统计信息推送给 Push Gateway ，参数格式 如 --metrics- addr=192.168.100.115:9091 推送统计信息到 Prometheus Push Gateway 的时间间隔 默认: 15s 设置为 0 表明不推送统计信息给 “/tmp/tidb.sock” 来打开 unix socket file TiDB 服务状态监听端口 默认: “10080” 这个端口是为了展示 TiDB 内部数据用的。包括 prometheus 统计 以及 pprof Prometheus 统计可以通过 “http://host:status_port/metrics“ 访问 Pprof 数据可以通过 “http://host:status_port/debug/pprof“ 2379 提供 TiDB 和 PD 通信端口 PD 2380 PD 集群节点间通信端口 Pump 8250 Pump 通信端口 Drainer 8249 Drainer 通信端口 Prometheus 9090 Prometheus 服务通信端口 Pushgateway 9091 TiDB，TiKV，PD 监控聚合和上报端口 Node_exporter 9100 TiDB 集群每个节点的系统信息上报通信端口

• prometheus • ⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点 现状: • 性能 • ⾼高可⽤用 • 分布式 • 使⽤用成本 问题: ? 性能问题 • 本地ssd prometheus Shard A prometheus Shard Shard B prometheus Shard C targets hash • horizontal sharding
 (实验性质使⽤用) • prometheus 2.0 (tsdb) HA prometheus server1 server2 server3 prometheus IDC HA prometheus server1 server2 server3 server3 prometheus IDC Federation pr s s s pr I pr s s s pr I IDC1 IDC2 prometheus prometheus filter数据 精度降低 建议 降低使⽤用成本 agent prometheus target target target alert_manager 告警平 服务 cache