Celery 2.5 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.celeryq.dev

摘要

文档介绍了Celery 2.5.5版本的功能和更新内容。Celery是一个开源的异步任务队列，支持通过消息队列在分布式环境中处理任务。该版本引入了多个改进和修复，包括默认启用Broker连接池、时区支持、安全序列化、自动模块重新加载等。此外，文档还详细记录了版本变更历史，涵盖了bug修复、性能优化和新功能的添加。用户需注意与Django结合使用时的版本兼容性，以及在使用某些功能时的配置要求。

AI总结

《Celery 2.5 Documentation》总结

---

### **概述**

**Celery 2.5.5** 是一个开源的异步任务队列/作业队列，基于分布式消息传递。其核心功能包括实时操作和任务调度支持，能够在多个 worker 节点上并发执行任务。任务可以选择多进程、Eventlet 或 gevent作为执行方式。Celery广泛应用于生产系统，每小时处理数百万个任务。

---

### **版本与发布信息**

- **版本号**：2.5.5
- **发布日期**：2014年2月4日
- **官网**：[http://celeryproject.org/](http://celeryproject.org/)
- **支持的Python版本**：CPython 2.5、2.6、2.7、3.2、3.3，以及 PyPy 和 Jython。

---

### **主要新增功能与改进**

1. **重要改进**：
- **Broker 连接池默认启用**：默认连接数为10，适用于高并发场景，用户可根据需求调整。
- **时区支持**：增强了对时区的处理。
- **安全序列化**：引入了基于加密签名的安全序列化机制。
- **自动模块重新加载**（实验性）：支持模块的热更新。
- **CELERY_ANNOTATIONS 设置**：允许在任务执行时添加注释。
- **当前任务上下文**：`current` 提供当前正在执行的任务信息。

2. **其他改进**：
- **Django 文档集成**：Django 相关文档迁移到了主文档中。
- **新信号**：`celeryd_init` 信号允许按主机配置 worker。
- ** Signals 连接作为装饰器**：支持通过装饰器方式连接信号。
- **任务调度优化**：修复了定时任务间隔被错误地向下取整的问题。
- **任务执行拒绝**：无效任务消息被拒绝并移至死信队列。

---

### **升级指南与重要注意事项**

1. **兼容性**：
- 与之前版本向后兼容，但需仔细阅读升级说明。
- **Django 用户**：必须升级到 django-celery 2.5。

2. **重要变更**：
- **Broker 连接池默认启用**：需根据线程/绿线程数量调整连接限制。
- **AMQP 结果后端**：交换机不再自动删除。

---

### **关键修复**

1. **Bug 修复**：
- 修复 Eventlet/Gevent 下 worker 挂起问题。
- 修复多进程池启动前的错误。
- 修复 Proxy 对象的 `__doc__` 和 `__name__` 重定向问题。
- 内部定时器（timer2）现在记录异常而非吞噬。
- celeryctl 支持 `--eventlet` 和 `--gevent` 选项。

2. **日志与错误处理**：
- 修复定时任务日志中人类化时间的详细程度。
- 修复任务发送错误邮件时的 Unicode 解码错误。

3. **命令行工具改进**：
- celeryctl 的 `--expires` 和 `-eta` 支持 ISO-8601 格式。
- celeryev 会自动重新建立断开的 Broker 连接。

---

### **文档与结构**
文档主要包含以下部分：
- **入门指南**：安装、配置和基本使用。
- **更改历史**：详细记录了各版本的更新内容。
- **常见问题解答**：解决用户常见问题。
- **教程**：包括使用 Redis/Database 作为消息队列，远程调试任务等。
- **社区资源**：提供 IRC 和邮件列表等联系方式。

---

### **安全修复**
- 修复了守护进程权限问题，确保正确降低权限。
- 修复了 Webhook 任务的 HTTP 头问题。

---

### **内核改进**
- worker 由 4 个核心组件（消费者、调度器、媒介和任务池）组成，协调 ready_queue 和 ETA(schedule) 两大数据结构。

---

### **其他改进**
- **初始化脚本**：自动创建日志和 PID 文件目录。
- **CeleryEv**：修复缺少 worker 信息导致的崩溃问题。
- **internals**：详细介绍了 worker 的组件和数据结构。

---

通过以上总结，读者可以快速了解 Celery 2.5.5 版本的核心功能、升级注意事项和重要修复内容。