Scrapy 1.3 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

文档介绍了Scrapy 1.3版本的核心功能和使用方法。Scrapy是一个用于爬取网站和提取结构化数据的应用框架，支持通过Spider定义爬取逻辑，使用Item Pipeline处理数据，Feed Exports导出数据，以及通过Settings进行配置。新版本增加了返回字典的支持、优化了设置机制，并引入了基于Python内置日志系统。文档还详细说明了命令行工具的使用、项目结构以及异常处理机制。

AI总结

以下是对《Scrapy 1.3 Documentation》的总结，按照文档结构和内容层次进行梳理，重点突出核心观点和关键信息：

---

### **Scrapy 1.3 文档摘要**

#### **1. 基本概念**
- **Scrapy 概述**：Scrapy 是一个用于抓取网站并提取结构化数据的应用框架，适用于数据挖掘、信息处理等多种用途。它支持通过网页抓取、API 或作为通用网络爬虫使用。
- **项目结构**：Scrapy 项目的默认目录结构包括 `scrapy.cfg` 和 `myproject` 文件夹，后者包含设置文件、Item 定义、管道和爬虫等。
- **爬虫示例**：通过一个简单的例子（抓取名言）展示了 Scrapy 的使用流程，包括Spider的编写、CSS选择器和XPATH提取数据，以及处理分页的方法。

---

#### **2. 数据处理**
- **Item 和字典**：Spider可以直接返回字典，而不必显式声明并返回Scrapy Item，简化了数据采集。
- **Item Pipeline**：用于处理采集到的Item，确保数据质量。可以通过 `ITEM_PIPELINES` 设置激活管道组件，管道按优先级顺序执行。示例包括去重管道（`DuplicatesPipeline`）。
- **Feed Exports**：支持将采集的数据导出为多种格式（如JSON、CSV、XML），通过 `FEED_EXPORTERS` 扩展支持更多格式。

---

#### **3. 配置与日志**
- **自定义配置**：Spider可以通过 `custom_settings` 类变量定义单独的配置，优先级高于项目设置。示例包括设置下载延迟和重试开关。
- **日志系统**：Scrapy 1.0 默认使用Python内置的日志系统，弃用了Twisted日志。Spider的日志记录方式保持不变，但可以通过自定义日志记录器记录日志。

---

#### **4. 命令行工具**
- **常用命令**：
- `scrapy version`：查看Scrapy版本及依赖信息。
- `scrapy bench`：运行快速基准测试。
- `scrapy runspider`：运行Spider文件（如 `$ scrapy runspider myspider.py`）。
- `crawl` 和 `fetch`：运行Spider或获取URL。
- **自定义命令**：通过 `COMMANDS_MODULE` 设置或-entry-points机制添加自定义命令。

---

#### **5. 其他功能**
- **异常处理**：Scrapy 提供多种异常（如 `DropItem`），用于处理数据重复等问题。
- **性能优化**：通过配置和管道优化数据处理流程，提升爬虫效率。

---

以上总结涵盖了Scrapy 1.3文档的核心内容，包括基本概念、数据处理、配置、日志、命令行工具和异常处理等，旨在帮助用户快速掌握Scrapy的主要功能和使用方法。