Scrapy 1.5 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

《Scrapy 1.5 Documentation》详细介绍了Scrapy 1.5版本的更新内容，包括新增功能、bug修复、向后不兼容的变化以及文档改进。主要更新包括对Google Cloud Storage的支持，新增对PTPython REPL的支持，改进了对Python 3.6、PyPy和PyPy3的兼容性，支持HTTP 308永久重定向，新增522和524状态码到重试列表中，以及默认用户代理的更改。文档还提到了一些弃用的功能和路径迁移。

AI总结

《Scrapy 1.5 官方文档》总结如下：

### 核心内容概述

1. **新功能与改进**：
- **支持 PTpyhon REPL**：新增对PTpyhon的交互式REPL支持。
- **Google Cloud Storage 支持**：FilesPipeline 和 ImagesPipeline 现在支持 Google Cloud Storage。
- **scrapy parse 命令增强**：新增 `--meta` 选项，允许自定义请求元数据。
- **HTTP 308 永久重定向支持**：新增对 HTTP 308 状态码的处理。
- **日志信息增强**：启动时输出版本信息。
- **LinkExtractor 默认行为调整**：忽略 `.m4v` 扩展名。

2. **不兼容更改**：
- **Python 版本**：Scrapy 1.5 停止对 Python 3.3 的支持。
- **默认 User-Agent 更新**：默认 User-Agent 现使用 `https://scrapy.org` 链接，可能与旧版本不兼容。
- **日志记录模块变更**：日志记录模块从 `scrapy.utils.log` 变为 `scrapy.crawler`，可能影响日志解析工具。

3. **性能与稳定性改进**：
- **代理服务器连接复用**：提升代理服务器的连接效率。
- **PyPy 支持增强**：正式支持 PyPy 和 PyPy3。
- **DNS 解析改进**：修复 DNS 解析器在 `DNSCACHE_ENABLED=False` 时的行为。

4. **文档更新**：
- **新增主题**：新增《广域爬取与常见实践》文档。
- **功能说明优化**：完善 FilesPipeline 和 ImagesPipeline 的文档，以及扩展功能的说明。

5. **其他改进**：
- **错误处理优化**：新增 `NotImplementedError` 的明确提示。
- **测试与部署**：改进测试用例结构，新增部署文档，涵盖 `scrapyd-deploy` 和 `shub`。

### 总结

Scrapy 1.5 版本主要聚焦于功能增强、性能优化和文档完善，同时对部分旧功能进行了调整和移除。新版本提升了对现代 Python 版本的支持，优化了爬虫的稳定性和扩展性，特别推荐使用 PyPy 和 PyPy3 以获得更好的性能。