Scrapy 1.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

The documentation provides a comprehensive guide to Scrapy 1.0, covering installation, basic concepts, and advanced features. It explains how to use command-line tools to manage projects, create spiders for web crawling, and extract data using selectors. Additionally, it details how to store scraped data using Feed exports and introduces Item Pipelines for post-processing. The document also covers configuration settings, project structure, and core APIs like Crawler and Spider. It addresses various specific problems such as handling HTTP proxies, simulating user logins, and memory management.

AI总结

# 《Scrapy 1.0 文档》总结

## 1. 获取帮助
- **常见问题解答 (FAQ)**：提供常见问题的解答。
- **索引和模块索引**：帮助查找具体信息。
- **邮件列表**：scrapy-users 邮件列表提供存档查找和提问功能。
- **IRC 频道**：在 #scrapy 频道提问。
- **问题跟踪器**：在 GitHub 提交 bug。

## 2. 初步使用 Scrapy
### 2.1 入门指南
- **概览**：了解 Scrapy 的功能和用途。
- **安装指南**：帮助用户在计算机上安装 Scrapy。
- **教程**：通过实际项目学习 Scrapy 的基础知识。
- **示例**：通过预制项目进一步了解 Scrapy。

### 2.2 基础概念
- **命令行工具**：用于管理 Scrapy 项目的工具。
- **Spiders**：定义爬取网站的规则。
- **选择器**：使用 XPath 提取网页数据。
- **Scrapy Shell**：在交互式环境中测试提取代码。

## 3. 版本控制与 API 稳定性
- **版本结构**：版本号 A.B.C，分别表示主版本号、-release 版本号和 bug 修复版本号。
- **开发版本**：奇数次版本用于开发 release，偶数次版本为稳定分支。
- **API 稳定性**：
- 以单下划线开头的方法或函数为私有，应谨慎使用。
- 稳定 API 可能会增加新方法，但现有方法的行为保持不变。

## 4. 数据处理与存储
- **数据存储**：
- **Feed Exports**：通过 `scrapy crawl` 命令生成 JSON 文件。
- **Item Pipeline**：在 `tutorial/pipelines.py` 中实现更复杂的数据处理。
- ** pagination 爬取**：通过递归请求处理多页网站，例如博客和论坛。

## 5. 核心 API
- **Crawler 对象**：Scrapy API 的主要入口，提供对核心组件的访问：
- **settings**：Scrapy 设置管理器。
- **signals**：信号管理器，用于扩展和中间件接入 Scrapy 功能。
- **stats**：统计收集器，记录和访问扩展或中间件的行为数据。
- **engine**：执行引擎，协调爬取的核心逻辑。
- **spider**：正在爬取的 Spider 实例。

## 6. 常见问题解答
- **HTTP 代理**：通过 `HttpProxyMiddleware` 支持。
- **多页数据爬取**：使用回调函数传递额外数据。
- **模拟用户登录**：使用 `FormRequest.from_response()` 实现。
- **爬取顺序**：默认 LIFO 队列，支持 DFO；可配置为 BFO。

## 7. 其他功能
- **日志记录**：支持 Python 内置日志功能。
- **统计收集**：收集爬虫统计信息。
- **发送邮件**：在特定事件发生时发送通知。
- **Telnet 控制台**：在运行中的爬虫上使用内置 Python 控制台。
- **Web 服务**：通过 Web 服务监控和控制爬虫。

## 8. 项目结构
- **目录结构**：默认结构包括 `tutorial/pipelines.py` 等文件。
- **配置文件**：可在 `scrapy.cfg` 文件中配置设置，查找顺序包括系统级、用户级和项目级。

以上是对《Scrapy 1.0 Documentation》的简要总结，涵盖了主要功能、使用方法和常见问题解答，适合快速了解 Scrapy 的核心内容。