Scrapy 1.2 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

文档详细记录了Scrapy不同版本的发布说明，包括修复的错误、新增的功能、弃用的模块以及代码结构的调整。主要内容涵盖Scrapy 1.2及其之前的版本更新，如修复错误信息格式、改进图片管道日志记录、添加扩展禁用文档、更新命令行工具文档等。文档还提到了Scrapy与外部服务的兼容性改进、新功能的添加以及对旧功能的弃用。整体内容对开发者和使用者理解Scrapy的版本迭代和发展具有重要意义。

AI总结

以下是文档内容的总结：

---

### **Scrapy 版本更新日志总结**

#### **1.2 版本更新**
- **错误修复**：
- 修复错误消息格式化问题，`log.err()` 不支持特定格式。
- 修复图片管道错误日志记录问题。
- 修复文档拼写错误。
- **功能改进**：
- 新增文档主题：广域爬取与常用实践。
- 修复未指定爬虫时 `scrapy parse` 命令的 bug。
- 更新命令文档。
- **其他**：
- 修复文档中 FAQ 中的无效链接。
- 更新 `spider_open_close_logging` 示例文档。

#### **1.0 版本更新**
- **新功能**：
- 支持 `service_identity` 模块。
- 新增 `openssl` 版本到版本命令。
- **改进**：
- 修复 Twisted 15.3.0 的序列化问题。
- 优化文档中 Ubuntu 和 Arch Linux 的描述。
- **其他**：
- 更新测试文件的源发行说明。
- 修复文档中 `SelectJmes` 的描述。

#### **0.16 版本更新**
- **新功能**：
- 支持 Python 2.6 的 `scrapy contracts`。
- 新增 `scrapy contracts` 的详细输出。
- **改进**：
- 修复 Windows 平台的 `SpiderState` bug。
- 提升 macOS 兼容性。
- **其他**：
- �移除对 `ClientForm` 的引用。
- 更新默认存储后端的文档。
- 修复 `.hgtags` 文件的使用。

#### **0.10 版本更新**
- **新功能**：
- 新增 `Scrapyd` 服务，支持生产环境部署。
- 简化图片管道使用，无需自定义子类。
- 新增 `scrapy shell` 的默认日志显示。
- 支持持久化爬虫队列（基于 SQLite）。
- 新增文档：命令行工具及其子命令。
- **改进**：
- 使用 `lxml` 后端支持 XPath 选择器。
- 支持按蜘蛛配置设置。
- **其他**：
- 移除 `!LxmlItemLoader` 实验性功能。
- 改动 `scrapy.core.signals` 和 `scrapy.core.exceptions` 模块位置。

#### **0.9 版本更新**
- **新功能**：
- 支持 SMTP-AUTH 邮件发送。
- 新增 `scrapy-ctl view` 命令，用于查看 URL。
- 新增控制 Scrapy 进程的 Web 服务。
- 支持作为服务运行（生产环境）。
- **改进**：
- 简化和优化响应编码支持。
- 新增 `LOG_ENCODING` 设置。
- **其他**：
- 移除 `SERVICE_QUEUE` 设置。

#### **0.12 版本更新**
- **新功能**：
- 新增 `lxml` 后端 XPath 选择器。
- 文档中新增项目文件结构说明。
- **改进**：
- 默认启用随机下载延迟。
- **其他**：
- 移除部分弃用功能，如默认字段值支持。
- 优化代码结构，移除部分实验性功能。

---

### **总结**
文档主要记录了 Scrapy 不同版本的更新内容，包括错误修复、功能改进、新功能发布以及文档调整等。主要更新集中在爬虫队列、日志记录、图片管道、命令行工具和 Web 服务等方面。版本更新还涉及代码结构优化和兼容性改进，以及部分功能的移除和弃用。