Scrapy 1.7 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

Scrapy 1.7文档介绍了版本更新、新功能和改进。主要包括对Python 2支持的结束，Python 3兼容性，新的信号系统，返回字典支持，Selector API改进，Telnet控制台安全性增强，扩展性功能如from_crawler支持，版本更新和弃用API等。

AI总结

《Scrapy 1.7 Documentation》是Scrapy框架的官方文档，涵盖了Scrapy的基本概念、功能、使用方法以及版本更新等内容。以下是文档的核心内容总结：

### 1. **基本概念**
- **命令行工具**：Scrapy提供了强大的命令行工具，用于管理爬虫的启动、停止和其他操作。
- **爬虫（Spiders）**：Scrapy的核心组件，用于定义爬取规则和处理响应。
- **选择器（Selectors）**：用于从HTML或XML响应中提取数据，支持XPath和CSS选择器。
- **Items**：用于定义爬取的数据结构，类似于数据库表结构。
- **Item Pipeline**：对爬取的数据进行处理和存储。
- **Feed Exports**：将爬取的数据导出为多种格式（如XML、CSV）。
- **请求与响应（Requests and Responses）**：定义爬取的URL和处理响应的方式。
- **链路提取器（Link Extractors）**：用于从页面中提取出需要爬取的链接。
- **设置（Settings）**：全局配置Scrapy的行为，如下载延迟、请求超时等。

### 2. **内置服务**
- **日志（Logging）**：记录爬虫运行过程中的信息，便于调试和监控。
- **统计收集（Stats Collection）**：收集爬虫运行时的性能数据，如下载速度、错误率等。
- **邮件发送（Sending e-mail）**：配置Scrapy发送爬虫完成或失败的邮件通知。
- **Telnet控制台（Telnet Console）**：通过Telnet连接到爬虫，实时调试和交互。
- **WebService**：提供一个简单的HTTP接口，用于远程控制爬虫。

### 3. **解决特定问题**
- **常见问题（FAQ）**：提供了爬虫开发中常见问题的解答。
- **调试爬虫（Debugging Spiders）**：通过日志、断点和交互式控制台调试爬虫。
- **爬虫合同（Contracts）**：定义爬虫的行为规范，确保爬虫按预期运行。
- **常用做法（Common Practices）**：推荐的开发模式和最佳实践。
- **大规模爬取（Broad Crawls）**：处理大规模爬取时的性能优化和资源管理。
- **动态加载内容（Dynamic Content）**：处理JavaScript渲染的内容，结合浏览器开发者工具辅助爬取。

### 4. **版本更新**
- **Scrapy 1.7.4**：
- 修复了ItemLoader初始化后数据丢失的问题。
- 其他Bug修复和文档优化。
- **Scrapy 1.6.0**：
- 改善了Windows支持和Python 3.7兼容性。
- 引入了新的信号（item_error和request_reached_downloader）。
- 提升了扩展性，支持from_crawler的feed exporters和storages。
- 更新了Selector API，推荐使用.get()和.getall()替代.extract_first()和.extract()。
- **Scrapy 1.5.2**：
- Telnet控制台增强了安全性，要求用户名和密码认证。
- **Scrapy 1.0.0**：
- 支持直接返回字典，不再强制使用Item。
- 引入了Per-spider settings，允许每个爬虫自定义设置。

### 5. **其他重要信息**
- **弃用API**：文档中列出了多个已弃用的API，建议使用新的替代方案。
- **架构概述**：详细描述了Scrapy的组件及其交互流程，包括数据流和核心组件的功能。
- **支持Python 2的最后版本**：Scrapy 1.x系列是最后一个支持Python 2的版本，Scrapy 2.0将仅支持Python 3。

### 总结
《Scrapy 1.7 Documentation》全面介绍了Scrapy框架的功能和使用方法，涵盖了从入门到高级开发的内容，并提供了详细的版本更新信息和最佳实践。对于开发者来说，这是一份非常实用的参考资料。