Volcano加速金融行业大数据分析平台云原生化改造的应用实践

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/cncf

摘要

文档探讨了Volcano在金融行业大数据分析平台云原生化改造中的应用实践。Volcano作为云原生批量计算平台，支持多种计算框架，如Spark、PyTorch等，提供统一的作业管理和高级调度策略。通过与Kubernetes结合，Volcano实现了资源的动态规划和复用，提升了资源利用率。ING银行和锐天投资的案例展示了Volcano在多租户资源共享、公平调度和SLA保证方面的优势，显著提升了业务效率和系统稳定性。

AI总结

以下是对文档《Volcano加速金融行业大数据分析平台云原生化改造的应用实践》的总结，语言简洁明了，重点突出核心观点和关键信息：

---

### 文档总结

#### 背景与挑战
1. **行业背景**
金融行业对大数据分析和人工智能的需求日益增长，传统大数据平台向云原生化改造成为必然趋势。

2. **云原生化挑战**
- **作业管理缺失**：缺乏完善的作业生命周期管理和任务依赖支持。
- **调度策略局限**：不支持Gang-scheduling、Fair-share scheduling等高级调度策略。
- **资源规划不足**：缺少资源复用和异构计算支持。
- **运维复杂性**：不同计算框架对资源管理和并行计算的要求不一致。

---

#### Volcano解决方案
1. **核心功能**
- **统一作业管理**：支持主流计算框架（如Spark、TensorFlow、PyTorch等），提供完善的作业生命周期管理。
- **高级调度策略**：支持公平调度、任务拓扑调度、作业抢占、资源回填等。
- **细粒度资源管理**：通过队列实现动态资源共享和多租户管理。
- **性能优化与异构资源支持**：支持多种硬件（如GPU、昇腾、昆仑等），优化调度性能。

2. **架构与特性**
- **架构设计**：基于Kubernetes，通过Volcano-controller和Volcano-scheduler实现高效调度。
- **多集群管理**：支持分级调度和多租户公平调度，降低调度成本。

---

#### 用户案例
1. **ING银行案例**
- **业务场景**：服务于全球40多个国家的资产管理公司，需求包括交互式服务、离线分析和统一调度。
- **解决方案**：采用K8s + Volcano统一调度，通过Queue实现动态资源共享。
- **收益**：
- 大数据作业从Yarn平滑迁移至K8s。
- 云原生平台服务于17个国家/地区，1100用户，年增长率8.1%。
- 支持450+运行项目。

2. **锐天投资案例**
- **业务场景**：金融投资公司，涉及策略研究、AI训练、ETL和批处理任务。
- **诉求**：统一支持AI、大数据和批处理任务，提供公平调度和Gang-scheduling。
- **解决方案**：Volcano支持多场景统一调度，提供公平调度策略。
- **收益**：
- 生产环境稳定支持30万Pod/天增长量。
- 支持特定业务场景的资源管理。

---

#### 总结
Volcano作为云原生批量计算平台，通过统一作业管理、高级调度策略和细粒度资源管理，解决了传统大数据平台的痛点。在金融行业中，Volcano帮助企业实现了资源利用率的提升、多租户资源共享以及高效的任务调度，显著提升了业务效率和系统稳定性。