Scrapy 2.6 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

Scrapy是一个快速的网络爬虫和数据抓取框架，用于爬取网站并提取结构化数据。文档提供了安装指南、教程、基本概念以及多个版本的更新日志，包括功能增强、bug修复和文档改进。

AI总结

### Scrapy 2.6 文档总结

#### 1. Scrapy 概述
- **Scrapy** 是一个快速的高层次网络爬取和抓取框架，用于爬取网站并从页面中提取结构化数据。
- 它适用于数据挖掘、网站监控和自动化测试等多种用途。
- 提供了丰富的功能，包括爬虫编写、数据提取、存储和处理等。

#### 2. 获取帮助
- 提供多种支持渠道：
- FAQ、索引、模块索引
- StackOverflow（标签：scrapy）
- Reddit（ subreddit: scrapy）
- 邮件列表（scrapy-users）
- IRC 频道（#scrapy）
- Discord 社区

#### 3. 入门指南
- **安装**：通过 pip 安装 Scrapy。
- **教程**：通过官方教程快速上手，编写第一个 Scrapy 项目。
- **示例**：通过预设项目熟悉 Scrapy 的功能。

#### 4. 核心概念
- **命令行工具**：用于管理 Scrapy 项目。
- **爬虫结构**：包括爬虫类、Spider、Item、Field 等。
- **中间件**：包括下载中间件、请求中间件和蜘蛛中间件。
- **管道**：用于处理提取的数据。
- **调度器**：用于管理请求和响应。

#### 5. 版本更新与改进
- **Scrapy 1.3.0**：
- 移除了旧的 Twisted 代码，提升了兼容性。
- 新增了 `CloseSpider` 异常，允许手动关闭爬虫。
- 新增了 `REDIRECT_ENABLED` 和 `RETRY_ENABLED` 设置，用于控制重定向和重试功能。
- 新增了 `SitemapSpider` 和 `LogStats` 扩展，用于网站地图爬取和统计日志。
- **Scrapy 1.2.3**：
- 包装修复：禁止不支持的 Twisted 版本。
- **Scrapy 1.2.2**：
- 修复了 pipeline 在 `open_spider()` 失败时的错误。
- 改善了对 `robots.txt` 的处理，支持相对 URL 和非 ASCII URL。
- **Scrapy 1.0.3**：
- 添加了服务标识到 Scrapy 安装需求中。
- 解决了 Travis CI 的问题。

#### 6. 依赖与清理
- Scrapy 现在要求 Twisted 版本 >=13.1。
- 移除了 `scrapy.xlib.tx.*` 模块，不再支持旧版本的 Twisted。
- 移除了 `ChunkedTransferMiddleware` 作为默认下载中间件。

#### 7. 文档与开发
- 提供了详细的文档，包括安装指南、教程、核心概念和命令行工具的使用。
- 提供了如何编译文档的快速指南。

#### 8. 其他改进
- 支持通过 `conda-forge` 安装 Scrapy。
- 提升了对 Python 3 的支持。
- 改善了日志记录和错误处理。
- 新增了对 `lxml` 基于链接提取器的支持。

#### 9. 注意事项
- 版本升级可能会导致日志记录器名称的不兼容。
- 需要检查日志解析器以适应新的日志级别（INFO 和 DEBUG）。

总结：Scrapy 是一个功能强大的网络爬取框架，提供了丰富的功能和灵活的配置，适用于多种应用场景。通过不断更新和改进，Scrapy 在兼容性、性能和易用性方面都有显著提升。