Django Q Documentation Release 1.3.6

• 语言: 英语
• 格式: .epub
• 来源: django-q.readthedocs.io

摘要

Django Q 是一个用于 Django 项目的任务队列管理工具，支持异步任务、计划任务和错误报告等功能。它通过 multiprocessing 实现任务处理，支持多种消息队列后端（如 Redis、SQS 等），并提供任务调度、结果存储和错误监控功能。文档详细介绍了其安装、配置、功能模块以及与其他服务（如 Rollbar 和 Sentry）的集成。通过配置 Q_CLUSTER 参数，用户可以自定义任务队列的行为，适用于高流量和多集群环境。

AI总结

# Django Q 1.3.6 发布说明总结

## 简介
Django Q 是一个基于 Django 的任务队列、调度和工作进程应用，使用 Python 的 multiprocessing 实现。它支持异步任务、计划任务、重复任务等功能，并提供多种消息队列后端（如 Redis、Disque、SQS 等）。

## 核心功能
1. **任务管理**：
- 异步任务
- 计划任务（支持 cron 表达式）
- 重复任务
- 签名和压缩任务包
- 成功和失败结果的数据库或缓存存储

2. **集群管理**：
- 多进程工作池
- 多集群监控
- 系统资源限制（如内存、运行时间）

3. **集成与扩展**：
- Django 管理界面集成
- 第三方错误报告集成（如 Rollbar、Sentry）
- 支持多种消息队列后端（Redis、SQS、MongoDB 等）
- 支持 PaaS 环境

4. **配置选项**：
- 工作进程数量（默认为 CPU 核心数）
- 任务超时时间
- 任务重试次数
- 任务队列大小限制
- CPU 亲和性设置

## 兼容性
- **Python 版本**：3.7、3.8、3.9
- **Django 版本**：2.2.x、3.2.x
- **依赖**：
- Django-picklefield：用于存储任务参数和结果
- Arrow：用于处理日期和时间
- Blessed：用于监控统计

## 安装与配置
1. **安装**：

   pip install Django-q

2. **配置**：
- 在 `settings.py` 中添加 `django_q` 到 `INSTALLED_APPS`
- 配置 `Q_CLUSTER` 字典（示例见文档）
- 运行数据库迁移：

     python manage.py migrate

- 启动集群：

     python manage.py qcluster

## 错误处理
- 支持多种错误报告插件（如 Rollbar、Sentry）
- 配置错误报告器时需提供相关服务的访问密钥
- 任务失败时会记录错误信息，并可通过管理界面重试

## 任务管理
- **成功任务**：记录执行结果，可通过管理界面查看和删除
- **失败任务**：记录错误信息，支持重试
- **结果保留**：可设置成功任务的保留数量或时间

## 系统兼容性
- **OS X**：
- multiprocessing.Queue.qsize() 不可用
- 建议安装 psutil 以获取 CPU 核心数
- **其他系统**：默认使用 Python 的 multiprocessing 模块

## 扩展性
- 支持自定义错误报告插件
- 支持多种消息队列后端
- 支持与 Django 管理界面集成

## 使用注意事项
- 任务签名：确保任务签名有效，否则任务将被丢弃或失败
- 配置优化：根据实际需求调整工作进程数量和资源限制
- 监控与调试：通过管理界面查看任务状态和集群运行情况

## 总结
Django Q 是一个功能强大且灵活的任务队列和调度工具，适合需要异步任务处理和集群管理的 Django 项目。其支持多种后端、错误报告插件和配置选项，能够满足不同的使用场景。