Celery 2.1 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.celeryq.dev

摘要

文档详细介绍了Celery 2.1版本的功能，包括任务队列的分布式处理、配置选项、监控工具、日志管理和错误处理。文档涵盖了Celery的安装、配置、任务执行、监控以及内部工作原理，并提供了示例配置和使用指南。

AI总结

《Celery 2.1 Documentation》是关于Celery分布式任务队列的旧版本（2.1）的文档，内容涵盖了Celery的功能、配置、监控和使用方法。以下是文档的核心内容总结：

---

### **概述**
- **Celery** 是一个分布式任务队列，支持任务的执行、路由、监控和优化。
- 文档结构包括：入门指南、用户指南、任务管理、监控工具、配置选项等。

---

### **新功能与改进**
1. **日志行为变更**：
- Celery 2.1默认接管根日志记录器（`CELERYD_HIJACK_ROOT_LOGGER`），但可以通过设置`CELERYD_HIJACK_ROOT_LOGGER = False`恢复旧行为。

2. **广播持久性**：
- 新增`CELERY_BROADCAST_PERSISTENT`设置，但在2.2版本中将不再有效。

3. **错误处理改进**：
- 错误邮件正文现在使用`repr(exception)`而不是`str(exception)`，避免Unicode解码错误。
- 错误邮件超时值可通过`EMAIL_TIMEOUT`设置配置。

4. **兼容性改进**：
- `celeryev`（ curses 监视工具）现在支持Windows（前提是已安装 curses）。
- 单元测试输出不再包含非标准字符。

5. **任务执行优化**：
- `task.apply`的`propagate=True`现在保留原始帧的异常和堆栈跟踪。

---

### **配置**
- **配置文件**：
- 示例配置文件展示了基本设置，如任务导入模块、结果后端、队列名称等。
- 配置选项包括：`CELERY_IMPORTS`、`CELERY_RESULT_BACKEND`、`BROKER_URL`等。

- **后端支持**：
- 支持多种后端（如AMQP、数据库、Redis、MongoDB、Tokyo Tyrant等）。
- 配置选项涵盖任务结果存储、数据库连接、队列参数等。

- **任务执行设置**：
- 包括并发设置（如`CELERYD_CONCURRENCY`）、预取策略（如`CELERYD_PREFETCH_MULTIPLIER`）等。

---

### **监控与工具**
1. **监控工具**：
- **celeryctl**：命令行工具用于管理任务和工人节点。
- **celeryev**：基于 curses 的实时监控工具。
- **celerymon**：Web 监控工具。
- **RabbitMQ**：支持通过队列监控任务状态。
- **Munin**：支持插件以监控 Celery 集群。

2. **事件与广播命令**：
- Celery 支持任务事件（如任务开始、完成、失败）和广播命令（如重启工人节点）。

---

### **任务管理**
1. **任务执行**：
- 支持延迟任务（`ETA`和`countdown`）、任务过期时间、序列化、连接超时等。
- 支持任务路由和重试机制（如自定义重试延迟）。

2. **任务状态**：
- 提供内置状态（PENDING、STARTED、SUCCESS、FAILURE、RETRY、REVOKED）。
- 支持自定义任务状态和状态转移。

3. **任务性能与策略**：
- 强调任务粒度、数据本地性、数据库事务等优化方法。

---

### **已知问题与修复**
1. **修复内容**：
- 解决了任务执行选项的优先级问题（Issue #244）。
- 修复了SQLAlchemy后端的竞态条件（Issue #261 + Issue #262）。
- 解决了 celeryd 在处理控制命令时的崩溃问题。

2. **兼容性问题**：
- Celery 2.1的某些功能在2.2版本中不再适用（如`CELERY_BROADCAST_PERSISTENT`）。

---

### **示例配置**
以下是示例配置文件的内容：

# 示例配置文件
CELERY_IMPORTS = ("myapp.tasks",)
BROKER_URL = "amqp://guest:guest@localhost:5672/"
CELERY_RESULT_BACKEND = "amqp://"
CELERY_RESULT_BACKEND_MAX_CACHED_RESULTS = 100

---

### **贡献与社区**
- 文档新增了“Contributing”和“Optimizing”部分。
- 用户可以通过社区资源（如Wiki、Bug tracker）参与贡献和交流。

---

### **注意事项**
- 文档强调 Celery 2.1 已经过时，建议使用最新稳定版本。
- Celery 2.1 适用于分布式任务处理，但部分功能在后续版本中可能已调整或移除。

---

总结：Celery 2.1 提供了丰富的功能和灵活的配置，适用于分布式任务队列的开发和管理。文档详细介绍了任务执行、监控、配置和优化等内容，适合开发者和管理员参考。