Celery v4.2.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.celeryq.dev

摘要

文档介绍了Celery v4.2.0的主要新功能和改进，包括限流支持、新的周期性任务系统、自动注册功能、任务撤销功能以及对结果后端的增强支持。此外，文档还提到了性能优化，如通过调整预取机制提升了3倍性能，并详细列出了依赖项的变化和一些弃用的设置。

AI总结

### Celery v4.2.0 文档总结

#### 新闻亮点
1. **限流支持**：新增了按任务类型或全局的限流功能。
2. **新周期任务系统**：周期性任务现在基于时间表（如每小时的整点）执行。
3. **自动注册**：任务自动注册功能增强。
4. **任务装饰器语法**：新增了更简洁的任务装饰器语法。
5. **事件支持**：worker 支持通过 -E 参数发送事件，便于监控工具集成（如 celerymon）。
6. **任务撤销**：支持撤销已执行的任务。
7. **主机名设置**：worker 可通过 --hostname 参数指定主机名。
8. **缓存后端优化**：缓存后端现在支持 CELERY TASK RESULT EXPIRES 设置。
9. **日期格式标准化**：消息格式统一使用 ISO-8601 标准日期格式。
10. **SIGHUP 信号支持**：worker 支持通过 SIGHUP 信号重启。
11. **任务集参数优化**：新增对任务集参数的执行选项支持。
12. **性能提升**：通过调整 prefetch count 提升性能，平均任务往返时间从 0.1s 优化至 0.03s。
13. **Webhook 支持**：改进了对 webhook 任务的支持，弃用 celery.task.rest，改用 celery.task.http。
14. **结果缓存**：任务集的结果现在通过结果后端缓存。

#### 重要变更
1. **依赖项更新**：
- 新增依赖：carrot ≥ 0.8.1、billiard、python-dateutil、Django-PickleField。
- 移除了 python-daemon 依赖。
2. **性能优化**：
- 默认启用 CELERYD_PREFETCH_MULTIPLIER = 4。
3. **结果后端**：
- Redis 后端默认数据库编号为 0。
- 数据库结果后端设置名称从 sqlalchemy_* 改为 database_。
4. **任务设置**：
- ETA 使用 ISO 8601 格式字符串，不再发送 datetime 对象。
- 不再发送重试任务的错误邮件。
5. **任务集路由**：
- CELERY_ROUTES 的路由配置优先级高于 CELERY_QUEUES。
6. **错误处理**：
- 修复了 CELERY_TASK_ERROR_WHITELIST 非可迭代值导致的 worker 崩溃问题。

#### 其他改进
1. **文档优化**：
- 修复了 Redis 后端文档中的拼写错误。
- 修复了 inspect registered_tasks 的命令请求问题。
2. **新功能**：
- celerybeat 和 celeryev 支持detach模式。
- 新增 CELERY_SEND_TASK_SENT_EVENT 设置，支持监控任务发送事件。
- 支持通过 publisher 参数自定义任务集的发布者。
3. **兼容性改进**：
- 支持通过命令行指定配置文件和加载器。
- 新增信号：beat_init 和 beat_embedded_init。

#### 历史版本升级
1. **从 2.0 升级**：
- 数据库和缓存结果后端的配置需更新。
- 任务链 (chain) 行为与 3.1 版本一致。
2. **从 3.1 升级**：
- 部分模块和 API 名称变更，需更新引用。

#### 内部 API 变化
1. 模块重命名：
- celery.datastructures → celery.utils.collections。
- celery.utils.timeutils → celery.utils.time。
2. 功能迁移：
- 一些辅助函数和模块进行了重新组织和命名调整。

#### 总结
Celery v4.2.0 是一个功能增强和性能优化的版本，新增了多项实用功能，如限流、周期任务优化、结果缓存和事件支持，同时修复了部分性能瓶颈和兼容性问题。对于现有用户，升级时需要注意依赖项和配置文件的调整。