全球架构师峰会2019北京/大数据/Kubernetes 运行大数据工作负载的探索和实践&mdash

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

文档探讨了Kubernetes在运行大数据工作负载中的应用，特别是Spark的工作机制。文章指出，Kubernetes不仅支持容器编排，还扩展了对数据密集型和有状态应用的支持。然而，Spark在Kubernetes上的应用存在一些缺口，例如资源隔离、动态资源分配和任务抢占等问题。Volcano作为一种Kubernetes-native的批量处理系统，提供了解决方案，包括通过权重共享资源、动态资源分配以及外部 shuffle 服务等优化措施。文档还提到了Volcano的性能优势和未来发展方向。

AI总结

# 全球架构师峰会2019北京/大数据/Kubernetes 运行大数据工作负载的探索和实践

## 会议主题：Kubernetes 运行大数据工作负载的探索和实践
主讲人：Leibo Wang（华为云BU Principal Engineer）
内容概述：
1. **Why Spark on Kubernetes**
- Kubernetes不仅支持容器编排，还扩展支持数据密集型和有状态的应用。
- 优势：
- 自动扩展
- 整合在线服务与离线分析
- 生态系统支持（监控、日志等）
- 细粒度资源隔离

2. **Spark在Kubernetes中的差距**
- 动态资源分配
- 外部shuffle服务
- 资源预留
- 作业抢占

3. **Volcano解决方案**
- **Volcano**：一个基于Kubernetes的原生批量作业系统。
- 提供资源公平共享、动态资源分配等功能，优化了大数据任务的运行效率。
- 官网：[https://volcano.sh](https://volcano.sh)
- GitHub：[http://github.com/volcano-sh/volcano](http://github.com/volcano-sh/volcano)

4. **未来工作**
- 持续优化Volcano功能，支持更多大数据场景。

## 架构师成长路径指南
- **初级**：微服务架构、MySQL实战
- **中级**：Linux性能优化、Spring Boot与Kubernetes
- **高级**：微服务架构实战、云原生微服务实践

## 联系方式
如需了解更多信息或购买课程，请联系客服「豆包」：
- 电话：[phone]
- 批量购课优惠：总价满￥1000，享8折优惠。

---

总结：本次会议重点探讨了Kubernetes在大数据工作负载中的应用，提出了Spark on Kubernetes的优势与不足，并介绍了Volcano作为Kubernetes原生批量系统的解决方案。同时，会议还提供了架构师成长路径的指南和相关课程资源。