Scrapy 1.4 Documentation

• 语言: 英语
• 格式: .epub
• 来源: docs.scrapy.org

摘要

文档主要介绍了Scrapy 1.4版本的更新内容，包括对匿名FTP会话的支持、新的response.follow方法、链接抽取器的改进、referrer策略的调整以及对Twisted 17.1.0及以上版本的支持。此外，文档还提到了对旧版本的兼容性处理和一些bug修复，如处理非ASCII URL、改进HTTP缓存路径可见性等。

AI总结

《Scrapy 1.4 Documentation》提供了关于Scrapy框架的全面指南，涵盖了安装、使用、配置及版本更新等内容。以下是文档的核心总结：

### 1. **帮助资源**
- **FAQ**：解答常见问题。
- **索引和模块索引**：快速查找信息。
- **社区支持**：StackOverflow、Reddit、邮件列表、IRC频道等。

### 2. **核心功能**
- **安装指南**：指导用户在不同系统上安装Scrapy。
- **教程和示例**：通过示例项目帮助用户快速上手。
- **命令行工具**：用于管理Scrapy项目，支持多种子命令。

### 3. **版本更新**
- **Scrapy 1.4.0（2017-05-18）**：
- **新功能**：
- 支持匿名FTP会话，兼容Twisted 17.1.0及以上版本。
- 新增`response.follow`方法，简化链接请求生成。
- 改进链接提取器，支持类似浏览器的URL处理方式。
- 新增可定制的Referer策略，增强隐私保护。
- 增加日志统计，包括内存使用、重试次数及HTTP错误码。
- 新增`FEED_EXPORT_INDENT`设置，提升JSON/XML输出可读性。
- **改进**：
- 修复JSON和XML导出问题。
- 提升对非ASCII字符URL的支持。
- 优化`HttpCompressionMiddleware`，支持自定义字符集。
- **弃用/不兼容变更**：
- 移除部分旧Twisted版本支持。
- 修改`CLOSESPIDER_ITEMPASSED`设置为`CLOSESPIDER_ITEMCOUNT`。

- **其他版本更新**：
- **Scrapy 1.1.x**：修复了多个与`ImagesPipeline`和`FilesPipeline`相关的子类问题。
- **Scrapy 1.0.x**：改进了`SpiderManager`和`ScrapyManager`的实现，移除了`UrlFilterMiddleware`。
- **Scrapy 0.24.x**：引入了新的XPath选择器、支持`lxml`库、改进了HTTP缓存机制等。

### 4. **其他重要信息**
- **文档结构**：涵盖了从基础安装到高级功能的详细说明。
- **术语和概念**：包括爬虫编写、选择器使用、响应处理等核心概念。

总结来看，Scrapy 1.4版本在功能和性能上均有显著提升，适合用于复杂的网络爬取任务。