深入 Kubernetes 的无人区-蚂蚁金服双十一的调度系统

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/servicemesher

摘要

蚂蚁金服在Kubernetes技术上的发展历程和落地实践。从2018年下半年开始投入研发，2019年完成云化环境适配，并在双十一前实现全站Kubernetes落地，超过90%的资源通过Kubernetes分配，核心链路100%使用Kubernetes支撑大促。文档还介绍了Kubernetes在资源分时复用、规模化调度、高可用容灾等方面的应用，并提出了调度性能优化和Operator开发的最佳实践。

AI总结

### 文档总结

#### 一、蚂蚁金服的Kubernetes现状
蚂蚁金服从2018年下半年开始投入Kubernetes及其配套系统的研发，并于2019年完成云化环境适配，核心链路100%落地支撑大促。截至双十一前，超过90%的资源通过Kubernetes分配，实现了全站Kubernetes落地。

#### 二、双十一Kubernetes实践
1. **资源分时调度**
- 双十一期间，资源分时复用和计算型混部任务是关键。通过统一资源调度架构，实现了极速交付、弹性容量和高可用容灾。
- 面临实例上下线预热、腾挪耗时不可控及大规模腾挪稳定性等挑战，通过调度性能优化解决了这些问题。

2. **大促规模**
- 单集群规模超万台服务器和ECS，应用服务覆盖90%+，应用Pods数量达数十万。

3. **调度性能优化**
- 采用Cluster Control Panel等工具实现资源画像、规模化调度和可视化服务。

4. **Operator最佳实践**
- CRD设计需明确最大数量，避免MutatingWebhook与资源更新操作的组合。
- 使用Namespaced scope控制影响范围，合理限流写操作，避免DaemonSet设计。

#### 三、展望未来迎接挑战
蚂蚁金服将继续优化Kubernetes调度系统，提升资源分配效率和系统稳定性，应对更大规模和复杂场景的挑战。