VMware SIG Deep Dive into Kubernetes Scheduling

• 语言: 英语
• 格式: .pdf
• 来源: github.com/warmchang

摘要

文档深入探讨了Kubernetes在VMware vSphere上的调度机制，重点介绍了如何通过拓扑标签优化pod的放置，以提高性能、资源利用率和可用性。当前Kubernetes并不了解vSphere的底层拓扑结构，如站点和NUMA。文档详细讲解了利用vSphere DRS和HA与Kubernetes集成的方法，以及 Admission Controller 的作用，帮助用户更好地配置和优化Kubernetes集群。

AI总结

### 文档总结

本文档主要探讨了Kubernetes在VMware vSphere环境中的调度机制及其优化方法，重点分析了Kubernetes与vSphere的双层调度体系，并提供了通过配置和标签优化资源管理的建议。

#### 核心观点：
1. **Kubernetes与vSphere的双层调度**：
- Kubernetes使用拓扑标签影响调度器的pod放置策略，用于跨可用区分散pod，同时考虑资源访问和可用性。
- vSphere提供底层的高可用性和自动放置选项，但Kubernetes目前无法直接感知vSphere的拓扑结构（如站点、亲和组、NUMA等）。

2. **利用vSphere标签优化调度**：
- 使用vSphere标签定义区域和可用区，结合Kubernetes的区传播功能，实现pod的自动分散。
- 区传播是优先级功能，而非硬性约束，资源分布不均可能影响pod的均匀分布。

3. **vSphere DRS与Kubernetes集成**：
- vSphere动态资源分配（DRS）可与Kubernetes结合，优化资源利用率。
- vSphere HA（High Availability）可增强Kubernetes的高可用性，实现节点级别的自动故障恢复。

4. **Kubernetes默认调度机制**：
- 调度器通过过滤和排序两个阶段选择节点：
1. **过滤阶段**：排除不满足条件的节点（使用谓词）。
2. **排序阶段**：根据优先级对剩余节点进行排序（如基于可用区）。

5. **资源管理的局限性**：
- Kubernetes默认资源管理通过配额和限制进行 runtime 执行时的控制。
- CPU资源以共享方式分配，不保证公平性；内存资源超出限制时会触发Pod终止。

#### 关键信息：
- **vSphere标签的作用**：用于定义区域和可用区，帮助Kubernetes实现pod的智能分布。
- **NUMA问题**：针对CPU和内存密集型工作负载，通过NUMA感知优化资源分配。
- **高可用性选项**：结合vSphere DRS和HA，提升Kubernetes集群的稳定性和资源利用率。

#### 总结：
本文档为运行在vSphere上的Kubernetes集群提供了优化调度和资源管理的建议，强调了通过标签、配置和集成vSphere功能来提升性能和可用性的方法。