4 【王琼】容器监控架构演进 王琼 YY直播

• 语言: 中文（简体）
• 格式: .pdf
• 来源: ucan20211030.cn-bj.ufileos.com

摘要

文档讨论了在Kubernetes环境下容器监控系统的架构演进。随着容器规模的快速增长，监控系统需要处理大量动态变化的监控数据，并具备动态扩展能力。文中介绍了容器云平台的监控系统架构，包括使用Prometheus进行数据收集、通过remote_write协议将数据写入Kafka、利用Grafana进行可视化展现，以及使用VictoriaMetrics进行性能优化。同时，文档还分析了现有架构的优缺点，如Thanos和Kvass在多集群管理中的复杂性和数据丢失风险，并提出了动态扩缩和优化维护成本的解决方案。

AI总结

## 容器监控架构演进总结

### 1. 问题与挑战
- **监控数据处理与展示**：容器规模快速增长（2W+ Pod），如何高效处理和展示大量监控数据成为关键。
- **动态扩缩能力**：集群动态增长，监控系统需具备动态扩缩能力。
- **监控复杂性**：Kubernetes封装了容器、Pod、Namespace等概念，增加了监控维度和复杂性。
- **动态对象管理**：容器销毁创建频繁，无法提前预置监控方案。

### 2. 监控系统架构
- **数据收集与传输**：
- Prometheus通过`remote_write`协议将数据写入Kafka。
- 容器云平台消费Kafka topic获取基础监控数据。
- **告警与通知**：
- Prometheus定期执行告警规则，触发信息发送至Alertmanager。
- Alertmanager通过Webhook将告警信息发送至YYMS（公司内部监控系统）。
- **可视化展示**：
- Grafana用于监控数据的可视化展现。

### 3. 监控系统优化实践
- **Thanos + Kvass**：
- **优点**：支持多集群监控，具备自动扩缩容能力。
- **缺点**：架构复杂，分片节点故障可能导致数据丢失，资源使用未显著减少。
- **VictoriaMetrics**：
- **架构**：
- `vmstorage`：负责数据存储。
- `vminsert`：通过`remote write`接收Prometheus数据并分发至存储节点。
- `vmselect`：从存储节点聚合数据并返回查询结果。
- **优势**：支持动态分片、自动扩缩容，降低维护成本。
- **问题**：单点故障风险，内存使用过大可能导致OOM。

### 4. 存在的问题
- 数据存储与查询：无法长时间保存数据，查询聚合能力不足。
- 可扩展性：现有架构难以横向扩展。
- 维护成本：系统维护复杂度较高，资源使用效率有待提升。

### 5. 总结
- Kubernetes环境下，监控系统需应对动态扩缩、复杂监控对象和海量数据的挑战。
- VictoriaMetrics在动态分片和自动扩缩方面表现较好，但需解决内存和单点问题。
- Thanos + Kvass架构复杂，资源使用未达预期，需进一步优化。

该文档重点介绍了容器监控架构的演进过程，强调了在Kubernetes大规模集群中监控系统的动态扩缩、数据处理和架构优化的重要性。