Scrapy 2.10 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

The document provides a comprehensive overview of the Scrapy 2.10.1 framework, detailing its architecture, components, and their interactions. It covers the data flow within the system and explains the settings mechanism, which allows customization of Scrapy's behavior through various precedence levels. The document also outlines new features, deprecations, and bug fixes in recent releases, such as support for Google Cloud Storage exports, improved async callback support, and Python 3.11 compatibility. Additionally, it addresses depreciation of certain classes and modules, introducing alternative functionalities.

AI总结

### 《Scrapy 2.10 Documentation》总结

#### 一、扩展Scrapy
Scrapy提供了多种扩展功能，包括：
- **信号（Signals）**：Scrapy内置多个信号，允许用户在特定事件发生时执行自定义功能。
- **调度器（Scheduler）**：负责管理和调度请求的组件。
- **Item Exporters**：用于将抓取到的项Export到文件，如XML、CSV等格式。
- **核心API**：用于通过中间件和扩展增强Scrapy功能。

#### 二、Scrapy架构概述
- **组件交互**：展示了Scrapy架构及其组件之间的交互，数据流向以红色箭头表示。
- **数据流**：详细描述了数据在系统内的流动过程。
- **架构图**：简要说明了各组件的作用及链接。

#### 三、设置（Settings）
- **定制化配置**：Scrapy通过设置允许定制所有组件的行为，包括核心、扩展、管道和蜘蛛。
- **设置来源**：设置可以通过多种方式配置，优先级从高到低依次为：
1. 命令行选项
2. 每个蜘蛛的设置
3. 项目设置模块
4. 扩展设置
5. 默认命令设置
6. 全局默认设置

#### 四、版本更新日志
- **新功能**：
- 支持Google Cloud Storage的Feed Export。
- 添加FEED_EXPORT_BATCH_ITEM_COUNT设置。
- parse命令支持指定输出文件。
- 支持--data-raw选项。
- 内置蜘蛛子类允许parse回调。

- **错误修复**：
- 修复CSV导出数据类和attr.s项。
- 正确设置POST请求方法。
- Windows上的ANSI转义序列处理。

- **弃用和移除**：
- 移除了多个LinkExtractor类，建议使用LinkExtractor。
- Deprecation库中的某些类和方法已移除。

#### 五、代码质量和测试
- **质量保证**：
- 修复了代码测试中的错误。
- 更新了CI配置，适配最新环境。
- 原生Windows测试通过。

#### 六、版本亮点
- **Scrapy 2.7.0**：
- 支持Python 3.11，放弃3.6。
- 默认启用异步回调支持。

- **Scrapy 2.2.0**：
- 要求Python 3.5.2+。
- 支持dataclass和attrs对象作为项类型。

#### 七、其他变更
- **环境要求**：
- 提高了对某些依赖库的最低版本要求，如lxml、Pillow等。
- **新设置选项**：
- 支持请求指纹配置centralized request fingerprinting。

### 总结
本次文档总结涵盖了Scrapy 2.10的主要功能扩展、架构概述、设置配置、版本更新详情及代码改进。重点突出了新功能的引入、重要错误的修复、配置的使用方法及版本变更的情况。通过该总结，用户能快速了解Scrapy 2.10的核心内容和新变化。