《Efficient Deep Learning Book》[EDL] Chapter 4 - Efficient Architectures

• 语言: 英语
• 格式: .pdf
• 来源: github.com/EfficientDL

摘要

本章聚焦于高效架构，旨在通过新颖方式减少模型体积并提升推理效率，同时保持大型模型的问题解决能力。首先介绍了嵌入（Embedding），它通过将高维概念压缩为低维向量表示，实现降维并度量输入相似性。嵌入表可复用，其质量取决于嵌入维度d和词汇表大小N。其次介绍了注意力机制（Attention），它利用词间关联性辅助学习，是Transformer等先进模型的核心，但具有二次复杂度。为应对此问题，出现了多种高效Transformer变体，如分块、稀疏注意力和低秩方法。最后介绍了深度可分离卷积（DSC），它通过两步卷积降低计算复杂度，输出形状与常规卷积相同，适合移动设备。项目示例展示了DSC模型在质量略低于常规卷积但体积减少约3倍，可适配于内存受限环境。高效架构可与量化、蒸馏等技术结合，提供更优的体积-质量权衡。

AI总结

本章聚焦于高效深度学习架构，分为两类：一类通过更好利用数据分布提升模型质量，包括嵌入（Embeddings）和注意力机制（Attention）；另一类专注于移动和边缘设备，如深度可分离卷积（Depthwise Separable Convolution），在减少模型体积的同时最小化质量损失。

嵌入技术通过将高维输入（如词汇）映射为低维向量，实现降维并保留语义相似性。例如，将100万词汇的独热编码压缩为小型嵌入表，解决了输入过大和训练困难的问题。注意力机制通过捕捉序列中元素间的关联，提升了模型在NLP等任务中的表现，相比RNN在准确率、训练和推理速度上均有优势，但计算和内存需求为二次复杂度。针对这一问题，已有多种高效Transformer变体，如分块、稀疏注意力和低秩方法等。

深度可分离卷积将标准卷积拆分为两步，显著减少计算量和模型体积，适合部署在资源受限设备上。实验表明，其模型体积约为标准卷积的三分之一，且质量损失有限。本章还通过项目展示了嵌入和注意力如何提升模型性能，并指出这些高效架构可与量化、蒸馏、数据增强等技术结合，进一步优化模型。