Scrapy 0.16 Documentation

语言	格式	评分
英语	.epub	3
摘要
文档主要介绍了Scrapy 0.16版本及其后续更新内容，包括新功能的添加、性能的提升、问题的修复以及一些API的变化。文档详细列出了各个版本的更新日志，涵盖了功能改进、bug修复、兼容性优化等方面，并提供了相关的代码提交记录和问题解决方法。
AI总结
《Scrapy 0.16 文档》总结如下： --- ### 1. 文档概述 Scrapy 0.16文档提供了关于Scrapy框架的全面介绍，包括安装指南、教程、示例、基本概念以及版本更新等内容。 --- ### 2. 核心功能与改进 #### 2.1 新功能 - Spider Contracts：新增用于测试蜘蛛的正式且可重复的机制。 - Scrapy Shell：默认显示Scrapy日志。 - 持久化蜘蛛队列：支持基于SQLite的持久化队列，默认可用。 - 扩展API：新增`open_spider()`和`close_spider()`方法，支持延迟关闭。 - 自定义请求头：支持按蜘蛛配置默认请求头。 - JSON和JSONLines导出：支持嵌套项。 #### 2.2 性能与兼容性 - lxml 默认：lxml成为默认选择器后端，替代`libxml2`。 - 延迟请求优化：移除并发限制，确保请求间隔延迟。 - Python 2.5 支持移除：不再支持Python 2.5。 - Twisted 版本兼容：不再支持Twisted 2.5。 #### 2.3 命令行工具改进 - 新增`scrapy`命令，统一项目管理。 - 新增`scrapy.bat`脚本，方便Windows用户。 - 增加bash补全功能。 - 命令`start`更名为`runserver`。 --- ### 3. 版本更新 #### 3.1 0.16.5（2013-05-30） - 修复`scrapy deploy`的请求方法问题。 - 更新文档，移除无效链接。 - 支持在无效的HTML5文档中查找表单节点。 - 修复typo和文档错误。 #### 3.2 0.16.4（2013-01-23） - 修复文档中的拼写错误。 - 增加扩展禁用文档。 - 优化错误日志格式。 - 修复下载中间件文档不准确问题。 #### 3.3 0.16.3（2012-12-07） - 移除`.hgtags`文件。 - 修复请求间隔延迟问题。 - 优化文档格式。 #### 3.4 0.16.2（2012-11-09） - 增加`scrapy contracts`的Python 2.6兼容性。 - 支持`verbose`选项，输出类似unittest的日志。 - 修复Windows平台的`SpiderState`问题。 #### 3.5 0.16.1（2012-10-26） - 修复`LogStats`扩展问题。 - 提升`scrapy.conf.settings`的向后兼容性。 - 更新文档，移除`global scrapy stats`的引用。 #### 3.6 0.16.0（2012-10-18） - 重大改进： - 统计收集重构，简化API。 - 移除信号和统计单例，改为通过爬虫对象访问。 - 新增`start_requests()`方法。 - 新功能： - 新增`-o`和`-t`选项到`runspider`命令。 - 自动节流扩展默认启用。 - 新增JSON和JSONLines导出器对嵌套项的支持。 - 移除模块： - 移除`scrapy.xlib.BeautifulSoup`和`scrapy.xlib.ClientForm`。 --- ### 4. 其他重要信息 - 文档资源： - FAQ、索引和模块索引可供查找特定信息。 - 移除过时的`ClientForm`和`proxyhub`链接。 - 扩展与工具： - 新增`StackTraceDump`扩展，支持跟踪引用。 - 新增`MemoryUsage`扩展的日志功能。 --- ### 5. 总结 Scrapy 0.16版本带来了多项功能增强和性能优化，包括Spider Contracts、持久化队列、命令行工具改进以及更好的文档支持。版本更新修复了多个问题，提升了兼容性和用户体验。