Scrapy 1.6 Documentation

语言	格式	评分
英语	.epub	3
摘要
文档主要介绍了Scrapy 1.6版本的更新内容，包括对Windows更好的支持、Python 3.7的兼容性、文档的重大改进，以及Selector API的变化。文档还提到了Telnet控制台的安全性改进，修复了一些已知问题，并添加了新的功能。例如，Selector API现在推荐使用.get()和.getall()方法，替代了以前的.extract_first()和.extract()方法。此外，文档还详细说明了如何安装、使用Scrapy以及如何编写爬虫。
AI总结
# Scrapy 1.6 文档总结 ## 1. 获取帮助 - 查看常见问题解答（FAQ）。 - 使用索引或模块索引查找特定信息。 - 在 StackOverflow 和 Reddit 的 Scrapy 标签下提问。 - 在 Scrapy 用户邮件列表和 IRC 频道中寻求帮助。 - 在问题跟踪器中报告 bug。 ## 2. 安装指南 - 安装 Scrapy 以开始使用。 ## 3. 新功能与改进 ### 3.1 主要亮点 - 更好的 Windows 支持：提升在 Windows 系统上的兼容性。 - Python 3.7 兼容性：支持最新的 Python 版本。 - 文档改进：优化了 .extract_first() 和 .extract() API，推荐使用 .get() 和 .getall()。 - 导出与管道改进：提升文件导出和媒体管道的功能。 - 扩展性增强：新增了错误处理信号和扩展功能。 ### 3.2 Selector API 变化 - parsel 库升级：Scrapy 现在依赖于 parsel 1.5+。 - 新方法：推荐使用 .get() 和 .getall() 替代 .extract_first() 和 .extract()。 - 属性访问：新增 Selector.attrib 和 SelectorList.attrib 属性，方便获取 HTML 属性。 - 缓存优化：CSS 选择器在多次使用时更高效。 ### 3.3 Telnet 控制台 - 安全性改进：Telnet 现在需要用户名和密码，修复了安全漏洞。 ### 3.4 新增功能 - 扩展性增强：新增了 feed exporters、feed storages 和 dupefilters 的扩展支持。 - 合同功能：修复和新增了 scrapy.contracts 的功能。 - 日志改进：修复了多个与日志相关的问题。 ## 4. 其他版本更新 - 1.0.7：修复了对 Twisted 的支持。 - 1.0.6：修复了重试中间件和文件存储功能。 - 1.0.5：修复了链接提取器和文档问题。 - 1.0.4：修复了构建和文档问题。 ## 5. 编译文档 - 使用 Sphinx 编译文档：`pip install -r requirements.txt`。 - 生成 HTML 文档：`make html`。 - 查看文档：`make htmlview`。 - 清理生成文件：`make clean`。 ## 6. 快速上手指南 - 安装 Scrapy。 - 遵循教程创建第一个项目。 - 使用命令行工具管理项目。 ## 7. 总结 Scrapy 1.6 提供了更好的兼容性、扩展性和安全性，同时优化了文档和开发体验。开发者应关注 Selector API 的变化和 Telnet 控制台的安全性改进，以充分利用新功能。