基于 mesos 的容器调度框架

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/gopherchina

摘要

文档介绍了基于 Mesos 的容器调度框架 UpOne，详细描述了其在资源调度、任务管理和负载均衡方面的实现。UpOne 支持通过 Mesos HTTP API 实现基本调度功能，包括零停机更新、自定义策略和高可用性。文档还提到使用基于 ngx_lua 的 Slardar 进行动态负载均衡，并展示了任务调度和资源分配的具体流程。

AI总结

## 基于 Mesos 的容器调度框架总结

### 1. 概念与架构
- **Mesos**：官方称为“数据中心的分布式系统内核”，将 CPU、内存、磁盘等资源抽象为资源池，实现资源的高效调度与管理。
- **Mesos 架构**：
- Agent 向 Master 注册，携带资源统计信息。
- Master 根据分级主导资源公平算法，分配资源给各个框架。
- 每个框架根据自身任务需求，调度任务资源分配。

### 2. UpOne 调度框架
- **UpOne** 是基于 Mesos 的容器调度框架，由又拍云开发，用于容器任务调度。
- **核心功能**：
- 支持基本任务调度。
- 负载均衡：基于 `Slardar Hub`（Nginx + Lua 模块）实现动态上游列表更新。
- 零停机更新：支持无中断部署。
- 自定义策略：调度策略可配置，例如随机调度。
- 高可用性：支持故障恢复。
- 提供 UI 和命令行工具，便于手动操作负载均衡和部署。

### 3. 任务与资源调度
- **任务实例**：
- `demandpom`：CPU 1.0，内存 2560M。
- `faced`：CPU 2.0，内存 4096M。
- `facedet`：CPU 0.5，内存 20480M。
- **资源分配**：
- Agent 向 Master 注册资源。
- Master 分配资源给框架。
- 框架根据任务需求调度资源。

### 4. 扩展与集成
- **支持服务类型**：
- 长期服务。
- 定时任务。
- **结合 Marathon 和 CHR**：
- 为云处理服务定制调度框架，支持复杂任务调度。
- **消息机制**：
- `KILL`：通知执行器删除任务。
- `SHUTDOWN`：停止执行器。
- `RECONCILE`：校准调度器任务状态。
- `TEARDOWN`：删除框架，关闭所有任务和执行器。

### 5. 自定义调度策略
- 支持自定义任务调度策略，例如：
- **随机调度**：确保同一应用的任务分布在不同机器上。

### 6. 总结
- **Mesos** 作为分布式系统内核，为容器调度提供高效的资源管理与任务调度能力。
- **UpOne** 框架基于 Mesos 实现，具备负载均衡、零停机更新、自定义策略等高级功能，适用于复杂云处理服务的容器调度需求。