Scrapy 1.8 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

本文档详细介绍了Scrapy 1.8框架的核心概念和功能，包括Item Pipeline的激活与使用、Feed Exports的实现及支持的序列化格式（如JSON、CSV、XML等），以及框架的架构概览。文档还描述了Scrapy的设置机制，允许用户通过环境变量和命令行选项自定义框架行为。此外，文档提供了Scrapy的版本更新日志，涵盖了从1.3.1到1.8的主要改进与修复，如支持大型数据导出、增强的Python 3.6兼容性以及新的设置选项。

AI总结

《Scrapy 1.8 Documentation》内容总结如下：

1. **核心概念**
- Scrapy 是一个用于爬取网站和提取结构化数据的应用框架，适用于数据挖掘、信息处理和网络爬虫。
- Spider 是 Scrapy 的核心组件，负责提取数据并生成项目（Item）。示例代码展示了如何从特定网站提取名言及其作者，并处理分页逻辑。
- Item Pipeline 用于处理 Spider 提取到的数据，例如去重、存储等。示例中通过检查 `item['id']` 是否已存在来去重。
- Item Pipeline 组件通过在 `ITEM_PIPELINES` 设置中注册类并指定优先级（数字越小优先级越高）来激活。

2. **数据导出与反馈（Feed Exports）**
- Scrapy 支持通过 Feed Exports 生成多种格式的导出文件（如 JSON、CSV、XML），以便其他系统消费。
- 数据序列化使用 Item Exporters，支持的格式包括 JSON、JSON Lines、CSV 和 XML，且可以通过 `FEED_EXPORTERS` 设置扩展。

3. **项目设置与定制**
- Scrapy 的行为可以通过设置（Settings）进行定制，设置分为全局默认设置、项目设置和命令行参数等，优先级从高到低排列。
- 常用设置包括 `DEPTH_STATS_VERBOSE`、`DNSCACHE_ENABLED`、`DNSCACHE_SIZE`、`DNS_TIMEOUT` 等。
- 支持通过 `COMMANDS_MODULE` 添加自定义命令，例如添加新的 Scrapy 命令或覆盖默认命令。

4. **异常与错误处理**
- Scrapy 内置多种异常，用于处理爬取过程中可能出现的问题，例如 `DropItem` 用于丢弃重复项。

5. **命令行工具**
- Scrapy 提供多种命令行工具，例如 `bench` 用于运行基准测试。
- 支持通过 `-s` 或 `--set` 参数在命令行重写设置值，例如 `scrapy crawl myspider -s LOG_FILE=scrapy.log`。

6. **Scrapy 架构与数据流**
- Scrapy 的架构包括多个组件，如 Spider、Scheduler、Downloader 和 Item Pipeline 等，数据流从 Scheduler 开始，依次经过Downloader、Spider 和 Item Pipeline。

7. **版本更新与改进**
- 新增功能：支持布尔值设置为字符串（如 `scrapy crawl myspider -s REDIRECT_ENABLED=False`）、支持 Python 3.6、支持通过 XPath 变量和命名空间声明等。
- 错误修复：解决 TLS 兼容性问题、保留请求类在序列化过程中的一致性等。

总结：文档详细介绍了 Scrapy 的核心功能、定制化设置、异常处理、命令行工具以及架构设计，并列举了版本更新的主要改进。