Celery 4.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.celeryq.dev

摘要

文档详细介绍了Celery 4.0的新特性和更新内容，包括新任务消息协议、改进的Prefork池、对Redis的优化支持、 Result Backend的性能增强以及Django应用配置的支持。同时，文档还列出了从Celery 3.1升级到4.0的具体步骤，并指出了被移除的功能和兼容性变化。重要的更新包括默认序列化格式变更为JSON、旧命令行程序的移除以及Prefork池的改进。此外，文档还涵盖了Celery的主要功能，如任务队列、实时处理和任务调度，并强调了其在处理大量消息方面的高效性和可靠性。

AI总结

### Celery 4.0 文档总结

#### 简介
Celery 4.0 是一个简单、灵活、可靠的分布式系统，专注于实时处理，同时支持任务调度。本版本是对 Celery 3.1 的重大升级，引入了多项新特性和改进，同时删除了一些旧功能。升级前请仔细阅读重要注意事项。

---

#### 新特性与改进

1. **新协议与设置**
- 引入了新任务消息协议。
- 所有设置名均改为小写。
- 默认序列化器改为 JSON。

2. **性能与稳定性**
- **Prefork 池改进**：
- 任务从子进程记录日志。
- 默认调度策略改为 `Ofair`。
- 支持限制子进程占用内存大小。
- **结果后端**：
- Redis结果后端改用Pub/Sub机制，提升结果获取效率。
- RPC结果后端正式支持生产环境。

3. **消息队列支持**
- **RabbitMQ**：支持优先队列和队列扩展。
- **Redis**：支持 Sentinel。
- **新传输**：正式支持 Amazon SQS 和 Apache Qpid。

4. **任务功能**
- 引入任务自动重试装饰器。
- 支持远程任务跟踪和结果处理。
- 新增 `AsyncResult.then()` 方法。

5. **定时任务**
- 新增定时任务 API，优化 Beat 实现。
- 支持根据日出、日落等时间安排任务。

6. **事件与信号**
- 事件消息自动过期，避免队列积压。
- 新增应用和任务信号，方便扩展。

7. **调试与工具**
- 改进远程调试工具，修复与最新 psutil 兼容性问题。

8. **其他**
- 删除旧命令行工具，用户需迁移至 `celery` 命令。
- 新增 CouchDB、Riak、Consul 等结果后端。

---

#### 兼容性与移除

1. **不兼容性更改**
- 删除 Python 2.6 支持，本版本为最后支持 Python 2 的版本。
- 移除旧命令行工具：`celeryd`、`celerybeat`、`celeryd-multi` 等。
- 多个模块和方法更名或被移除。

2. **移除的功能**
- 任务自动注册功能移除，需手动注册任务。
- Redis 事件不再兼容旧版本。

---

#### 升级指南

1. 从 Celery 3.1 升级：
- 升级至 Celery 3.1.25。
- 更新配置，使用新设置名。
- 浏览升级注意事项。

2. 环境要求：
- 支持 Python 2.7、3.4、3.5 和 PyPy。
- future版本将仅支持Python 3.5及以上版本。

---

#### 总结

Celery 4.0 是一款功能强大、灵活性高的分布式任务队列框架，新版本在性能、稳定性和可用性方面均有显著提升，但也涉及一些破坏性更改。升级前请仔细查阅文档，确保平滑过渡。