Scrapy 2.11.1 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

文档主要介绍了Scrapy 2.11.1及其后续版本的更新内容，包括新功能的引入、bug的修复、测试基线的变化以及对依赖项的更新。文档详细列出了每个版本的发布日期、主要改进、功能增强以及与之前版本的兼容性问题。同时，文档还提到了对Python和Twisted等依赖项的最低版本要求，以及对测试环境的调整。

AI总结

以下是文档内容的中文总结：

---

### Scrapy 2.11.1 文档总结

#### 主要更新与改进

1. **版本兼容性与测试要求**
- Scrapy 的最低要求基线已从 Ubuntu 12.04 变更为 Debian 8 "Jessie"。
- 连续集成测试使用以下最低版本的依赖包：Twisted 14.0、pyOpenSSL 0.14、lxml 3.4。
- Scrapy 可能与更旧版本的依赖包兼容，但不再保证。

2. **新功能**
- **Python 3.12 支持**：新增对 Python 3.12 的支持，同时弃用 Python 3.7。
- **加 ons 框架**：新增加 ons 框架，简化第三方组件的配置。
- **异常重试配置**：支持配置可重试的异常。
- **文件存储增强**：
- 新增对 Google Cloud Storage 的 ACL 支持（FILES_STORE_GCS_ACL 和 IMAGES_STORE_GCS_ACL）。
- 新增 AWS ENDPOINT URL、AWS USE SSL、AWS VERIFY 和 AWS REGION NAME 等选项，支持自定义或私有云存储。
- **Feed 导出改进**：修复了多个与 Feed 导出相关的 bug，并优化了导出功能。

3. **日志与文档**
- **StreamLogger 的 flush() 方法**：修复了 StreamLogger 中的 flush() 方法，避免日志警告。
- **文档更新**：
- 新增 Scrapy 架构图和 Response 参数文档。
- 修正了 README 中下载统计徽章的显示问题。
- 更新了与随机下载延迟相关的描述。
- 新增 StackOverflow 作为支持渠道。

4. **Bug 修复**
- **兼容性问题**：修复了 FilesPipeline 和 ImagesPipeline 的类属性兼容性问题。
- **下载中间件**：修复了 HEAD 请求的解压问题。
- **URL 标准化**：修复了 URL 标准化过程中的错误。
- **证书验证**：修复了 SSL 证书验证中的异常处理问题。

5. **弃用与移除**
- 移除了 deprecated 的 `CrawlerRunner.spiders` 属性，建议使用 `CrawlerRunner.spider_loader` 替代。
- 移除了 `scrapy.utils.reqser` 模块和其他 deprecated 的类。
- 移除了部分 deprecated 的 API 和方法。

6. **其他改进**
- **telnet 控制台**：新增了用户名和密码的安全验证。
- **信号与扩展**：新增了 `item_error` 和 `request_reached_downloader` 等信号，增强了扩展性。
- **测试与质量保障**：优化了测试用例和依赖管理。

---

### 注意事项
- 如果使用 Scrapy Cloud 且旧版本的 Scrapy，请确保项目要求包含 `scrapinghub-entrypoint-scrapy >= 0.14.1`。
- Python 3.7 已被移除支持，建议升级到 Python 3.10 或更高版本。

---

总结：Scrapy 2.11.1 版本在兼容性、功能增强、性能优化和文档改进方面均有显著提升，特别在 Python 3 支持和文件存储方面表现突出。