机器学习课程-温州大学-08深度学习-深度卷积神经网络

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

本章主要介绍了深度卷积神经网络的相关内容，包括经典网络结构、深度残差网络、其他现代网络以及卷积神经网络的使用技巧。其中，迁移学习作为深度学习中的重要策略被详细阐述，包括使用预训练模型、冻结模型权重以及替换全连接层的具体步骤。此外，文档还介绍了经典的LeNet-5网络结构及其实现方式，并讨论了1×1卷积在神经网络中的重要作用。

AI总结

### 《深度卷积神经网络》课程总结

#### 1. 经典网络
- **LeNet-5**：
- 由卷积层块和全连接层块组成。
- 卷积层块：2个卷积层，分别使用5x5卷积核，步长为1，填充为2。
- 全连接层块：3个全连接层，节点数分别为120、84、10。
- 主要用于手写数字识别任务。

#### 2. 深度残差网络
- **ResNet**：
- 提出跳跃连接（skip connection）解决深层网络的梯度消失问题。
- 核心思想：通过跳跃连接将输入直接传递到较深的层，保持梯度流动。
- 在ImageNet竞赛中表现出色，如ResNet-50在ILSVRC竞赛中准确率达到73.2%。

#### 3. 其它现代网络
- **Inception网络**：
- 使用1×1卷积层来减少通道数量，降低计算量，同时增加非线性。
- 1×1卷积层可以实现通道间的非线性组合，提升模型性能。
- **常见模型**：
- VGG、ResNet、SqueezeNet、DenseNet、Inception、GoogLeNet、ShuffleNet、MobileNet等。

#### 4. 卷积神经网络使用技巧
- **迁移学习**：
- 利用预训练模型（如ResNet18）进行特征提取，减少训练时间和计算成本。
- 步骤：
1. 加载预训练模型：`net = models.resnet18(pretrained=True)`。
2. 冻结模型权重：`param.requires_grad = False`。
3. 替换全连接层：`net.fc = nn.Linear(512, 10)`。
- 常见设备选择：使用GPU或CPU进行训练：`device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")`。

总结：本章重点介绍了深度卷积神经网络的经典结构、残差网络、现代网络设计以及实际应用技巧，特别是迁移学习在模型优化中的重要性。