1.6 resource scheduling & container technology for financial service_yujun

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/gopherchina

摘要

文档探讨了资源调度与容器技术在金融服务领域的应用及发展，提出了一种面向金融行业架构和业务场景的资源调度机制——SWF（Scene Based Weighted Fairness）。该机制通过实时计算资源的使用情况，结合权重比对调控，实现了资源的灵活调度，并支持个性化和公平性的调度方式。文档还介绍了基于容器技术的资源分配和动态调度算法，以及两级调度框架的设计，旨在解决金融行业IT基础架构在资源调度和容器技术应用方面的挑战。

AI总结

### 总结

文档主要围绕动态资源管理和容器技术在金融行业的应用场景展开，探讨了资源调度机制的设计与实现，以下是核心内容的总结：

#### 1. **研究背景与挑战**
- **现状**：金融行业IT基础架构面临多业务并存、静态资源分配、访问控制复杂等问题。
- **挑战**：需应对“虚拟化”“云计算”“大数据”“互联网金融”“移动业务”“敏捷开发”“去IOE”“自主可控”等多重需求。

#### 2. **资源调度的核心机制**（SWF框架）
- **设计目标**：适合金融行业架构和业务场景的资源调度机制。
- **核心实现**：
1. **基于场景的实时计算**：通过短期和中长期场景数据切片适应不同资源投产阶段。
2. **可干预的分配机制**：设置阈值，实现人工干预。
3. **权重调控**：通过权重比对优化利用率、容量和可用性优先级。
4. **模块化设计**：便于未来开源、定制和集成。
5. **持续演进**：针对金融行业应用场景持续调整和优化。

#### 3. **技术实现**
- **容器技术**：基于Linux内核隔离和业界先进的容器技术。
- **资源调度算法**：自主研发SWF核心算法（基于场景的加权均衡算法）。
- **两级调度框架**：支持跨逻辑数据中心的资源调度。
- **智能化功能**：包括服务弹性伸缩、分布式高可用控制、智能模板管理等。
- **开发语言与框架**：完全基于Golang开发，采用Beego框架，API设计为核心。

#### 4. **现有调度器的不足**
- **Mesos**：
- 调度机制过于追求公平，忽略实际应用需求。
- 资源分配存在碎片问题。
- **YARN**：
- 不适合短运行时场景。
- 增量资源分配机制可能导致资源浪费。
- **共性问题**：扩展和定制复杂。

#### 5. **未来展望**
- **金融行业需求**：资源调度需支持多场景、动态调整和灵活性。
- **技术方向**：持续优化调度算法，提升资源利用率和系统稳定性。

#### 6. **总结**
- 本文提出了一种面向金融行业的资源调度框架SWF，旨在通过场景化、权重调控和模块化设计，解决现有调度器在公平性、灵活性和资源利用效率方面的不足。同时，文档还探讨了金融行业IT基础架构的现状、特点和挑战，为未来的技术发展提供了方向。

文档内容全面且结构清晰，重点突出资源调度机制的设计与实现，以及金融行业的特殊需求和未来发展方向。