Scrapy 2.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

文档详细说明了Scrapy 2.0框架的功能和使用方法，包括其作为高效网页抓取和数据提取工具的应用场景。文档提供了帮助资源如FAQ、StackOverflow、Reddit等。新版本支持协程和异步语法，支持Python 3.5+，并推荐在Windows上使用Anaconda/Miniconda。Scrapy 2.0不再支持Python 2，模块结构发生了变化，部分子包被迁移到独立项目。文档还介绍了如何编译和查看文档，以及Scrapy的核心API、扩展和信号处理机制。

AI总结

# Scrapy 2.0 Documentation 总结

Scrapy 2.0 是一个高效的高级网络抓取与数据抽取框架，主要用于从网站页面中提取结构化数据，适用于数据挖掘、监控和自动化测试等场景。

## 获取帮助
- 常见问题：查看 FAQ。
- 特定信息：使用索引或模块索引。
- 技术支持：StackOverflow（标签 scrapy）、Reddit（r/scrapy）、邮件列表（scrapy-users）、IRC 频道（#scrapy）。
- 报告问题：通过 GitHub 存储库的 issue 跟踪系统。

## 快速入门
1. **概述**：了解 Scrapy 的功能和用途。
2. **安装**：在计算机上安装 Scrapy。
3. **教程**：完成第一个 Scrapy 项目。
4. **示例**：通过预制项目进一步学习。

## 核心概念
- **命令行工具**：用于管理 Scrapy 项目。
- **协程支持**（新功能）：Scrapy 2.0 引入了对协程的部分支持，语法包括 `async def`、`await`、`async for` 等。目前 asyncio 支持为实验性，未来版本可能会有 API 和行为的调整。
- **Python 版本支持**：Scrapy 支持 Python 3.5+，不再支持 Python 2。

## 主要功能与用途
- **网页抓取**：支持 HTTP 代理（通过 `HttpProxyMiddleware`）。
- **数据处理**：支持多种数据导出格式（如 XML、CSV）。
- **扩展功能**：通过中间件、信号和扩展机制定制功能。
- **性能优化**：支持高效的 HTML 解析工具，如 BeautifulSoup。

## 核心 API
- **Crawler 对象**：Scrapy 核心 API 的主入口，用于加载扩展和中间件。
- **CrawlerRunner 类**：方便管理和运行多个爬虫实例，适用于已经设置好的反应堆环境。

## 其它信息
- **模块调整**：Scrapy 2.0 对模块结构进行了重大调整，部分子包被拆分为独立项目。
- **开源理念**：Scrapy 的设计灵感来源于 Django，鼓励开源复用和借鉴，反对“重复造轮子”。

通过该文档，可以快速了解 Scrapy 2.0 的功能、安装、使用方法及扩展机制，适合开发者快速上手并深入掌握 Scrapy 的高级功能。