selling points Highly dynamic, built-in service discovery No hierarchical model, n-dimensional label set PromQL: for processing, graphing, alerting, and export Simple operation Highly efficient Richard @TwitchiH & @fredbrancz Intro to Prometheus Introduction Background Operations & observability Outro Efficiency 1,000,000+ samples/second no problem on currect hardware 200,000 samples/second/core 16 bytes/sample labels...], \ rate(errors.value, 5m) / rate(total.value, 5m) \ FROM errors JOIN total ON [...all label equalities...] \ WHERE errors.job=" foo" AND total.job=" foo" Richard Hartmann & Frederic Branczyk

__name__，所以之前查询的例子，可以这么写： {__name__="mem_available_percent", app="clickhouse"} 仍然可以达成相同的效果。有时采集的监控数据格式设计的不好，一些本该用 label 的信息，放 到了 metric 名称中了，此时就可以用 __name__ 做一些正则匹配。 Offset 监控系统里，经常会有同环比的需求，比如，当前的值相比一周之前，是否有巨大变化，那怎么 kube_pod_labels，会把 pod 的一些信息放到这个指标的标签里，指标值是1，相当于一个元信 息，比如： kube_pod_labels{ [...] label_name="frontdoor", label_version="1.0.1", label_team="blue" namespace="default", pod="frontdoor-xxxxxxxxx-xxxxxx" 中，如何让二者联动呢？上答案： sum( rate(http_request_count{code=~"^(?:5..)$"}[5m])) by (pod) * on (pod) group_left(label_version) kube_pod_labels 我们来掰开揉碎这个 promql 看一下具体的意思，乘号前面的部分，是一个典型的统计每秒 5xx 数量的语法，group by pod。

metric数据特征 选型原则 • 基于开源⽅方案，⼆二次开发 • 具备现代时间序列列数据库的特性 • 活跃项⽬目,具有成熟的⽣生态环境 结论 • prometheus • ⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点 现状: • 性能 • ⾼高可⽤用 •

selling points Highly dynamic, built-in service discovery No hierarchical model, n-dimensional label set PromQL: for processing, graphing, alerting, and export Simple operation Highly efficient Richard