Django Q Documentation Release 0.7.12

• 语言: 英语
• 格式: .pdf
• 来源: django-q.readthedocs.io

摘要

文档详细介绍了Django Q的安装、配置、任务管理、集群操作以及监控功能。Django Q是一个用于处理异步任务的Django扩展，支持多种消息代理（如Redis、MongoDB、Amazon SQS等），并提供任务调度、结果缓存和集群管理等功能。文档还介绍了如何使用管理页面查看任务状态、如何配置任务调度以及如何监控集群运行状态。

AI总结

《Django Q 0.7.12 文档》总结：

1. **概述**
- Django Q 是一个基于 Django 的分布式任务队列，支持多种消息队列（如 Redis、Disque、MongoDB 等）。
- 提供集群管理、任务调度、监控等功能，支持异步任务处理。

2. **主要功能模块**
- **安装与配置**：支持 Python 2.7 和 3.5，Django 1.8.8 及以上版本。主要依赖包括 Django-picklefield、Arrow、Blessed 等。
- **消息队列（Brokers）**：支持 Redis、Disque、MongoDB、SQS 等多种 broker，Redis 是默认推荐选择。
- **任务（Tasks）**：支持异步任务执行，可配置缓存以提高结果访问速度，缓存时间可手动设置。
- **任务分组（Groups）**：允许将任务分组，便于管理和监控。
- **链式任务（Chains）**：支持任务链，任务按顺序执行，可灵活定义依赖关系。
- **调度（Schedules）**：支持分钟、小时、日、周、月、年等频率的定时任务，需注意月份和年份边界情况（如 2 月 29 日）。
- **集群（Cluster）**：使用 multiprocessing 模块管理 worker 进程池，支持多集群部署，配置参数包括 worker 数量、超时时间等。
- **监控（Monitor）**：实时显示集群状态，包括任务队列大小、进程 ID 和运行时长等信息，使用 Django 缓存框架存储统计信息。
- **管理页面（Admin Pages）**：展示成功执行的任务，支持按组过滤和搜索，便于查看和删除任务记录。
- **架构（Architecture）**：采用分布式架构，通过消息队列实现任务分发与结果存储。
- **示例**：提供信号处理（如模型保存时触发异步任务）和报告生成等场景示例，展示如何与 Django 应用集成。

3. **关键特性**
- **异步任务**：通过 `async` 和 `Async` 类实现异步任务，支持参数动态修改和结果缓存。
- **任务结果处理**：支持从数据库或缓存获取任务结果，缓存可设置过期时间。
- **集群控制**：启动命令 `python manage.py qcluster`，支持通过信号量和事件控制集群启停。
- **监控工具**：`python manage.py qmonitor` 提供实时监控界面，显示各集群的运行状态和性能指标。

4. **注意事项**
- 使用 `psutil` 可增强集群的 CPU 亲和力设置。
- 对于 Redis 和 Disque，推荐使用 `hiredis` 提高性能。
- 调度任务时需注意月份和年份的边界情况，避免无效日期。
- 多集群部署需确保使用相同的消息队列和配置。

5. **总结**
Django Q 提供了强大的分布式任务处理能力，适用于需要异步处理和任务调度的场景。其灵活的配置和对多种消息队列的支持，使其成为 Django 项目中处理后台任务的理想选择。