app level. ● Key - value data model with powerful PromQL. ● Emerging open source community.Prometheus 2.0 - deal with dynamic nature ● Storage engine redesign & reimplementation ○ Save more CPU, one or more prometheus per cluster ○ hashmod sharding Node Node Node Node Node Node Node Node Node Hashmod = 0 Hashmod = 1 Hashmod = 2 prometheus0 prometheus1 prometheus2Prometheus at scale ● In the old days… ○ one or more prometheus per cluster ○ hashmod sharding Almost works... prometheus prometheus prometheus

天凌晨，log 会自动轮转使用一个新的文件，并且将以前的文件改名备份 Prometheus Push Gateway 地址 默认: “” 如果为空，TiDB 不会将统计信息推送给 Push Gateway ，参数格式 如 --metrics- addr=192.168.100.115:9091 推送统计信息到 Prometheus Push Gateway 的时间间隔 默认: 15s 设置为 0 表明不推送统计信息给 “/tmp/tidb.sock” 来打开 unix socket file TiDB 服务状态监听端口 默认: “10080” 这个端口是为了展示 TiDB 内部数据用的。包括 prometheus 统计 以及 pprof Prometheus 统计可以通过 “http://host:status_port/metrics“ 访问 Pprof 数据可以通过 “http://host:status_port/debug/pprof“ 2379 提供 TiDB 和 PD 通信端口 PD 2380 PD 集群节点间通信端口 Pump 8250 Pump 通信端口 Drainer 8249 Drainer 通信端口 Prometheus 9090 Prometheus 服务通信端口 Pushgateway 9091 TiDB，TiKV，PD 监控聚合和上报端口 Node_exporter 9100 TiDB 集群每个节点的系统信息上报通信端口

Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1537 9.1.1 About Prometheus in TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1537 9.1.2 About Services for the TiDB Cluster· · · · · · · · · · · · · · · · · · · · · · · · · 1543 9.3.1 Deploy Prometheus and Grafana· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1543 9.3.2 Configure Monitoring Services· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1550 9.4.1 Upgrade Prometheus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1550 9.4

Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1238 9.1.1 About Prometheus in TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1238 9.1.2 About Services for the TiDB Cluster· · · · · · · · · · · · · · · · · · · · · · · · · 1244 9.3.1 Deploy Prometheus and Grafana· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1244 9.3.2 Configure Monitoring Services· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1251 9.4.1 Upgrade Prometheus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1251 9.4

Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1147 9.1.1 About Prometheus in TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1147 9.1.2 About Services for the TiDB Cluster· · · · · · · · · · · · · · · · · · · · · · · · · 1153 9.3.1 Deploy Prometheus and Grafana· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1153 9.3.2 Configure Monitoring Services· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1160 9.4.1 Upgrade Prometheus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1160 9.4

Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1152 9.1.1 About Prometheus in TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1152 9.1.2 About Services for the TiDB Cluster· · · · · · · · · · · · · · · · · · · · · · · · · 1158 9.3.1 Deploy Prometheus and Grafana· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1158 9.3.2 Configure Monitoring Services· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1165 9.4.1 Upgrade Prometheus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1165 9.4

Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1144 9.1.1 About Prometheus in TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1144 9.1.2 About Services for the TiDB Cluster· · · · · · · · · · · · · · · · · · · · · · · · · 1150 9.3.1 Deploy Prometheus and Grafana· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1150 9.3.2 Configure Monitoring Services· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1157 9.4.1 Upgrade Prometheus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1157 9.4

igs做服务发现，查找所有node，通过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例，调用 apiserver 的接口即可，维护较为简单，采集频率可以调的稍大，比 如30s或60s • 所有的拉取请求都走 apiserver，如果是几千个node的大集群，对 Kubelet监控 • Kubelet 在 /metrics/cadvisor 暴露的是 cAdvisor 的监控数据（prometheus协 议），在 /stats/summary 暴露的是容 器的概要监控数据（普通json协议）， 在 /metrics 暴露的是自身的监控数据 （prometheus协议） • Kubelet 的核心职责就是管理本机的 Pod 和容器，典型的比如创建 Pod、销 毁 Pod，显然我们应该关注这些操作的 指标，尽量用 SSD 或 NVME 的盘 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，如果是 sidecar 模式，就直接使 用 categraf prometheus 插件即可，大盘可以参考 k8s/etcd-dash.json • etcd_server_has_leader etcd 是否有 leader • etcd_server_leader_changes_seen_total

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 872 9.1.1 Prometheus 在 TiDB 中的应用 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 877 9.3.1 部署 Prometheus 和 Grafana · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 883 9.4.1 升级 Prometheus· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1192 9.1.1 Prometheus 在 TiDB 中的应用 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1197 9.3.1 部署 Prometheus 和 Grafana · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1203 9.4.1 升级 Prometheus· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·