Scrapy 1.6 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: docs.scrapy.org

摘要

文档详细介绍了Scrapy 1.6.0版本的更新内容，包括改善的Windows支持、Python 3.7兼容性、文档改进以及API更换。该版本还引入了新的项错误和请求信号，增强了扩展性，并对deprecated代码进行了清理。更新还涉及feed exports、FilePipeline和MediaPipeline的改进，以及安全性和测试的增强。此外，Selector API的更换是与parsel库更新相关，推荐使用.get()和.getall()方法以提高代码简洁性和可读性。

AI总结

以下是对《Scrapy 1.6 Documentation》的核心内容进行的总结，重点突出主要改进和关键信息：

---

### **Scrapy 1.6.0 发布说明（2019-01-30）**

#### **发布亮点**
1. **更好的 Windows 支持**：所有 Scrapy 测试现在可以在 Windows 上通过。
2. **Python 3.7 兼容性**。
3. **文档改进**：
- 从 `.extract_first()` 和 `.extract()` API 切换到 `.get()` 和 `.getall()` API，代码更简洁易读。
4. **扩展性改进**：
- 引入 `item_error` 和 `request_reached_downloader` 信号。
- `from_crawler` 支持 feed exporters、feed storages 和 dupefilters。
5. **其他改进**：
- 清理了 deprecated code。
- 多项 bug 修复和小功能改进。

#### **Selector API 更改**
- Scrapy 现在依赖 `parsel >= 1.5`，并更新了文档以适应新的 API 规范。
- 推荐使用 `.get()` 和 `.getall()` 方法替代 `.extract_first()` 和 `.extract()`。

#### **已废弃功能移除**
1. 兼容性 shim for pre-1.0 Scrapy 模块名：
- `scrapy.command`
- `scrapy.contrib`（及其子模块）
- `scrapy.contrib_exp`（及其子模块）
- `scrapy.dupefilter`
- `scrapy.linkextractor`
- `scrapy.project`
- `scrapy.spider`
- `scrapy.spidermanager`
- `scrapy.squeue`
- `scrapy.stats`
- `scrapy.statscol`
- `scrapy.utils.decorator`
2. 其他 deprecated 功能：
- `scrapy.interfaces.ISpiderManager` 被移除，建议使用 `scrapy.interfaces.ISpiderLoader`。
- `CrawlerSettings` 类被移除。
- `Settings.overrides` 和 `Settings.defaults` 属性被移除。

#### **其他改进与清理**
1. **测试与 CI**：
- Scrapy 测试套件现在在 Windows 环境中执行。
- 多项测试和 CI 修复。
2. **代码优化**：
- `scrapy.http.cookies.CookieJar.clear` 支持 “domain”、“path” 和 “name” 可选参数。
- 使用 `collections.deque` 替代 list 存储 MiddlewareManager 方法。
3. **代码风格**：
- 多项代码风格修复和优化。
- 移除了不必要的 `.strip()` 调用。

---

以上是 Scrapy 1.6.0 版本的主要更新内容，涵盖了功能增强、API 更改、deprecated 功能移除及代码优化等方面。