深度学习与PyTorch入门实战 - 42. ResNet

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档主要介绍了深度残差网络（ResNet）的核心思想和实现。ResNet通过引入残差模块和跳跃连接（shortcut connections），解决了深层网络训练中的梯度消失问题。文档详细讲解了残差模块的设计，包括直接使用3x3卷积或采用瓶颈结构（1x1卷积+3x3卷积+1x1卷积）来减少计算量。此外，文档还展示了ResNet在ILSVRC 2015竞赛中的优异表现，并提供了基于PyTorch实现的ResNet代码示例。

AI总结

### 文档总结：深度学习与PyTorch入门实战 - ResNet

#### 核心观点：
1. **残差网络（ResNet）**：
- 引入了跳跃连接（skip connections），使网络层能够更轻松地学习恒等映射（identity mapping）。
- 跳跃连接通过跳过某些层，解决了深层网络中的梯度消失问题，提升了网络的训练效果。

2. **网络结构**：
- ResNet通过**残差模块**（residual module）实现深层网络的训练。
- 与AlexNet（8层）、VGG（19层）相比，ResNet在ILSVRC 2015中使用了152层网络，实现了更深层次的网络结构。

3. **残差模块设计**：
- 传统方法直接使用3x3卷积核会导致计算量较大（~600K operations）。
- ResNet采用瓶颈结构：
- 使用1x1卷积将256通道降至64通道（~16K operations）。
- 接着使用3x3卷积（~36K operations）。
- 最后使用1x1卷积将64通道恢复至256通道（~16K operations）。
- 总计算量仅需~70K operations，显著降低计算复杂度。

4. **PyTorch实现**：
- 提供了`ResBlk`类的实现，定义了残差模块的具体结构：
- 包含两个3x3卷积层，每个卷积层后接BN层。
- 如果输入和输出通道数不同，使用1x1卷积进行通道数转换。
- 前向传播时，直接将输入与输出相加，实现跳跃连接。

5. **竞赛成绩**：
- ResNet在2015年的ILSVRC比赛中表现优异：
- 在图像分类任务中，使用152层网络（被称为“Ultra-deep”网络）。
- 在目标检测、定位和分割任务中均大幅领先于第二名（例如：目标检测任务比第二名高16%）。
- ResNet在COCO目标检测和分割任务中也表现出色。

6. **命名由来**：
- ResNet中的“Residual”来源于其核心思想：通过跳跃连接引入“剩余”（residual）部分，使网络更容易学习恒等映射。

#### 总结：
ResNet通过引入跳跃连接和残差模块，成功解决了深层网络的训练难题，推动了深度学习的发展。其在图像识别任务中的卓越表现（如ILSVRC和COCO竞赛）证明了其有效性。PyTorch实现的ResNet模块为实际应用提供了高效、简洁的代码框架。