Celery 2.4 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.celeryq.dev

摘要

文档描述了Celery 2.4的使用指南，包括任务的基础知识、工人的操作、监控功能、任务路由以及生态系统的介绍。文档还详细说明了任务的状态、日志记录、任务重试机制、自定义任务类等内容。此外，还涵盖了Celery的内部实现细节，如模块引用、信号处理、配置及废弃的设置。

AI总结

《Celery 2.4 Documentation》总结如下：

---

### 概述
- Celery 是一个分布式任务队列，用于异步处理任务。
- 官方文档版本：**2.4.7**
- 发布日期：**2016年1月12日**
- 主要内容包括：任务管理、消息队列、工作节点、路由配置、监控工具等。

---

### 核心组件
1. **消息 Broker**
- 作为通信核心，允许客户端与工作节点通过消息进行交互。
- 常用 Broker：**RabbitMQ**、Redis、MongoDB 等。
2. **Worker**
- 执行任务的物理或虚拟节点。
- 支持并发处理，提供 Task 执行环境。

---

### 任务处理
1. **任务基础**
- 任务是 Celery 的核心，是等待执行的 action。
- 任务选项包括：**重试机制**、**超时设置**、**任务命名**、**序列化方式**等。
2. **任务状态**
- 内置状态：**PENDING**（等待）、**STARTED**（执行中）、**SUCCESS**（成功）、**FAILURE**（失败）、**RETRY**（重试）、**REVOKED**（取消）。
- 支持自定义状态。

3. **任务执行**
- 支持 **ETA**（预计执行时间）、**Countdown**（延迟执行）和 **Expiration**（任务过期）。
- 提供 **TaskSets** 和 **Subtasks**，用于批量任务处理。
- 支持 **HTTP Callback**（Webhook）和 **Periodic Tasks**（定期任务）。

4. **任务优化**
- 提点：避免不必要的结果存储、禁用未使用的速率限制、避免同步子任务。
- 支持多种并发模型：**Eventlet**、**Gevent**、**多线程**、**多进程**。

---

### 配置与路由
1. **路由配置**
- 支持通过 **AMQP** 和 **路由键** 进行任务分配。
- 提供自定义路由策略。
2. **Broker 配置**
- 支持多种 Broker，如 **RabbitMQ**、**Redis**、**MongoDB** 和 **Beanstalk**。
3. **结果存储**
- 支持 **AMQP**、数据库（**MySQL**、**PostgreSQL**）和缓存后端（如 **Redis**）。

---

### 监控与管理
1. **监控工具**
- 提供 **celerymon** 用于任务监控和管理。
- 支持实时监控 Worker 节点和任务执行状态。
2. **Worker 管理**
- 提供 **启动**、**停止**、**重启** 功能。
- 支持 **持久撤销**（Persistent Revokes）和 **自动缩放**（Autoscale）。

---

### 生态系统
1. **相关工具与库**
- **Kombu**：消息队列库，提供 Broker 通信功能。
- **Celerymon**：任务监控工具。
2. **扩展与支持**
- 提供丰富的扩展和插件，支持定制化功能。

---

### 内部机制与弃用信息
1. **内部模块参考**
- 包括 **celery.worker**、**celery.concurrency**、**celery.utils.dispatch** 等模块。
2. **弃用与移除**
- 部分配置（如 **CELERY_AMQP_CONSUMER_QUEUES**）将在后续版本中移除，建议使用替代配置。
- **TaskSet.run()** 已弃用，建议使用 **celery.task.base.TaskSet.apply_async()**。

---

### 总结
- Celery 2.4 是一个功能强大的分布式任务队列框架，适合处理异步任务和后台作业。
- 核心组件包括 **Broker** 和 **Worker**，支持多种任务处理和配置方式。
- 提供丰富的监控工具和扩展支持，但部分配置和 API 已明确弃用，需注意版本迁移问题。