vmware组Kubernetes on vSphere Deep Dive KubeCon China VMware SIG

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/latermonk

摘要

文档深入探讨了Kubernetes在vSphere上的调度、资源管理和高可用性优化。主要内容包括Kubernetes默认调度机制的工作原理、如何利用vSphere标签定义区域和可用区以优化 pod 分布、vSphere的NUMA结构对计算密集型工作负载的影响，以及Kubernetes默认资源管理功能的局限性。文档还介绍了如何通过vSphere DRS和vSphere HA提升Kubernetes的性能和可用性，并强调了当前Kubernetes与vSphere拓扑信息自动集成的缺失。通过合理配置vSphere和Kubernetes，可以实现更好的性能、资源优化和高可用性。

AI总结

### 总结

**文档主题**：
探讨在 VMware vSphere 上运行 Kubernetes 的性能优化、资源管理和高可用性选项，重点分析 Kubernetes 调度、资源管理与 vSphere 的结合。

---

**核心观点**：

1. **Kubernetes 调度与 vSphere 的结合**
- Kubernetes 使用拓扑标签影响调度，支持跨可用区（Zones） spreading，但目前 Kubernetes 并不直接感知 vSphere 的底层拓扑（如 NUMA、站点、亲和组等）。
- vSphere 标签可用于定义区域和 Zones，结合 Kubernetes 的 Zones 功能，优化 pod 的智能放置。

2. **vSphere 的高可用性与自动化**
- vSphere 提供控制平面和工作节点的高可用性和自动放置选项，与 Kubernetes 的高可用性机制互补。
- vSphere DRS 可与 Kubernetes 结合，进一步优化资源分配。

3. **资源管理**
- Kubernetes 默认资源管理目标包括效率、公平性和配额，支持 Namespace 级别设置（如 CPU、内存、对象数量等）。
- 资源限制在运行时执行，CPU 违反导致 throttling，内存违反触发“死亡惩罚”。
- 资源测量在不同主机间不统一，且仅提供资源份额而非硬性保证。

4. **Zones 的局限性**
- Kubernetes Zones 是一种优先级机制，而非硬性约束，可能导致资源分布不均。
- Zones 不负责节点在 vSphere 故障域中的位置，需结合 vSphere 标签实现更优调度。

5. **高可用性选项**
- vSphere HA 与 Kubernetes 结合，提供高可用性保障。
- Kubernetes 的 Admission Controller 支持多种验证和修改类插件，影响 pod 的放置和资源分配。

6. **社区贡献**
- VMware 积极参与 Kubernetes 社区，贡献包括 kubelet、设备管理器和设备插件等领域的开发，推动 GPU 等资源在 Kubernetes 上的使用。

---

**总结**：
通过优化 vSphere 和 Kubernetes 的配置与标签，可以提升 Kubernetes 集群的性能、资源利用率和高可用性。然而，当前 Kubernetes 与 vSphere 的集成仍需手动配置，且部分功能（如 Zones 的自动调度）为“尽力而为”的优化，而非硬性保证。文档强调了结合 vSphere DRS 和 Kubernetes 调度策略的重要性，以实现更高效的资源管理和 pod 分布。