全球架构师峰会2019北京/大数据/Kubernetes 运行大数据工作负载的探索和实践&mdash

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

文档探讨了Kubernetes在运行大数据工作负载中的应用，特别是Spark的部署与优化。Kubernetes扩展了对数据密集型和状态应用的支持，提供了自动缩放、在线服务与离线分析的统一、生态系统工具以及细粒度资源隔离等优势。Volcano作为Kubernetes本土化的批处理系统，通过延迟Pod创建、队列比例公平共享、任务拓扑优化等特性，提升了Spark工作负载的效率与资源利用率。

AI总结

## 《全球架构师峰会2019北京：Kubernetes运行大数据工作负载的探索与实践》

文章聚焦于Kubernetes在运行大数据工作负载，特别是Spark应用方面的探索与实践，提出并应用了Volcano批处理系统作为解决方案。

### 1. 为什么选择Kubernetes运行Spark？
Kubernetes不仅是一个容器编排工具，其扩展能力支持数据密集型和有状态应用，带来的优势包括：
- **自动扩缩**：在云环境中实现资源的弹性扩展。
- **服务整合**：实现在线服务与离线分析的无缝衔接。
- **生态系统支持**：提供监控、日志等周边工具。
- **资源隔离**：实现细粒度的资源管理，提升利用率。

### 2. Volcano解决方案
Volcano作为一种本土化的批处理系统，针对Spark工作负载的资源调度问题，采取了多项优化策略：
- **延迟Pod创建**：应对高并发JOB提交，优化资源分配。
- **公平共享机制**：通过队列比例和namespace公平共享，确保资源合理分配。
- **任务拓扑优化**：提升Spark工作负载的执行效率。

### 3. 系统优势与未来发展
Volcano批处理系统在资源调度上具有显著优势，未来将进一步完善以下方面：
- **公平共享调度与队列调度**，确保各作业间的公平竞争与分配。
- **资源预留机制**，保障关键作业的资源需求。
- **Binpack策略**，提升服务器资源利用率。
- **任务拓扑优化**，进一步提升效率。
- **区域感知调度**，实现跨区域的最优资源分配。

此次峰会展示了Kubernetes在支持大数据工作负载方面的潜力，Volcano系统的应用为Spark等大数据框架提供了高效的资源管理解决方案，未来有望在更多场景中推广应用。