Scrapy 0.20 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

文档详细描述了Scrapy的架构、组件及其交互关系。Scrapy是一个用于网页抓取和数据提取的框架，支持从网页或API中提取结构化数据。其主要组件包括Scrapy Engine、Spider、Item和Selectors等。文档还介绍了Scrapy的新特性，如Scrapyd部署工具、简化的图片管道使用、以及Scrapy shell的新功能。教程部分指导了从创建项目到数据提取的流程。

AI总结

《Scrapy 0.20 文档》摘要如下：

---

### 1. Scrapy 概述
Scrapy 是一个用于爬取网站并提取结构化数据的应用框架，适用于数据挖掘、信息处理和网页抓取等场景。它支持通过 API 或网页抓取提取数据，并提供了灵活的pipeline系统用于数据处理和存储。与 Django 模型类似，Scrapy 使用 Item 类定义数据结构，但更简单，专注于字段元数据。

---

### 2. 核心功能与架构
- **Scrapy 引擎**：Scrapy 的核心组件，负责协调各部分工作流程。
- **调度器（Scheduler）**：管理爬取请求，确保高效执行。
- **下载器（Downloader）**：负责从网页获取内容。
- **爬虫（Spider）**：定义抓取规则，提取数据并生成 Item。
- **Item Pipeline**：处理和存储提取到的数据。
- **中间件（Middleware）**：扩展或修改 Scrapy 的默认行为。

---

### 3. 新功能与改进
- **Scrapyd**：用于部署 Scrapy 爬虫到生产环境。
- **简化图片管道**：无需子类化即可使用图片管道。
- **Scrapy Shell**：默认显示 Scrapy 日志，方便调试。
- **可插拔的爬虫队列**：通过 “spider queues” 实现灵活的执行队列。

---

### 4. 快速入门
- **安装**：在本地安装 Scrapy。
- **教程**：通过抓取 Dmoz 网站的实例，学习如何创建项目、定义 Item、编写爬虫和实现数据管道。
- **示例项目**：提供了一个名为 dirbot 的示例项目，帮助用户实践。

---

### 5. 关键资源
- **帮助与支持**：包括 FAQ、用户邮件列表、IRC 频道和问题追踪器。
- **社区贡献**：鼓励用户在 Snipplr 上分享代码片段。
- **文档结构**：文档涵盖了 Scrapy 的架构、核心 API、Item 定义、爬虫编写及项目配置。

---

通过以上内容，用户可以快速了解 Scrapy 的核心功能、架构和使用方法，并通过教程和示例项目快速上手。