Scrapy 1.0 Documentation

语言	格式	评分
英语	.epub	3
摘要
文档详细介绍了Scrapy 1.0版本的主要更新内容，包括新功能、改进、移除和弃用的功能。新功能包括支持返回字典、Spider Contracts、持久化蜘蛛队列和Scrapyd服务。改进包括爬虫性能优化、日志系统迁移和模块重构。移除的功能包括UrlFilterMiddleware和默认字段值支持。文档还提供了详细的配置设置和命令行工具使用指南。
AI总结
### Scrapy 1.0 文档总结 #### 1. 基本信息 - Scrapy 是一个用于网络爬虫的开源工具，文档提供了全面的使用指南。 - 获取帮助：可通过FAQ、索引、邮件列表、IRC频道和问题跟踪器获取支持。 #### 2. 初步入门 - 快速了解：了解Scrapy的功能和用途。 - 安装指南：提供在不同系统上安装Scrapy的步骤。 - 教程：通过教程快速上手，创建第一个Scrapy项目。 - 示例：通过预设项目学习更多功能。 #### 3. 核心概念 - 命令行工具：用于管理Scrapy项目。 - 爬虫（Spiders）：定义爬取网站的规则。 - 选择器（Selectors）：使用XPath提取网页数据。 - Scrapy Shell：交互式环境，用于测试数据提取代码。 #### 4. 版本更新 - 1.0.0 版本： - 新功能： - 支持返回字典：简化数据收集，不再需要声明`Scrapy Items`。 - 单个爬虫设置：通过`custom_settings`实现爬虫级别的配置。 - Python原生日志记录：替换Twisted日志，提升兼容性。 - Crawler API重构：改进内部结构，支持脚本运行。 - 新服务Scrapyd：用于生产环境部署爬虫。 - 其他改进： - 延迟下载限制解除。 - 图片管道错误提示优化。 - 支持自定义请求头。 - 去除`UrlFilterMiddleware`和`SpiderContext`等弃用功能。 - 模块重新排列，提升代码结构。 #### 5. 其他重要特性 - 日志记录：支持Python内置日志API，同时兼容旧日志接口。 - 扩展功能：如自动节流、持久化上下文、延迟信号等。 - 命令行工具：新增`scrapy`命令，统一管理子命令。 - 模块重新排列：优化代码结构，移除实验性功能。 #### 6. 重要注意事项 - 兼容性：部分旧功能已弃用，建议升级时注意调整代码。 - 文档更新：新增了对命令行工具、扩展功能和设置的详细说明。 - 日志记录：建议逐步迁移至Python原生日志API。 #### 7. 总结 Scrapy 1.0 版本在功能、性能和易用性上均有显著提升，新增了对字典返回、单个爬虫设置、Python日志记录等重要功能的支持，同时优化了模块结构和文档。对于新用户，建议从教程和示例入手；对于老用户，需注意兼容性问题，逐步迁移至新功能。