pytorch 入门笔记-03- 神经网络

• 语言: 中文（简体）
• 格式: .pdf
• 来源: b3logfile.com

摘要

文档详细介绍了如何使用PyTorch的torch.nn包来构建和训练神经网络。内容包括定义神经网络模型、前向传播过程、损失函数的计算、反向传播以更新梯度，以及使用优化器（如SGD）更新网络参数。文档还展示了如何定义一个包含卷积层、池化层和全连接层的神经网络，并通过示例代码说明了神经网络的训练流程。

AI总结

### PyTorch 入门笔记 - 神经网络总结

#### 1. 神经网络概述
- **神经网络结构**：由层（Layer）组成，包括输入层、隐藏层和输出层，通过前馈方式处理数据。
- **训练流程**：
1. 定义网络模型，包含可学习的参数（权重）。
2. 在数据集上迭代。
3. 前向传播：输入数据，计算输出。
4. 计算损失：衡量输出与目标值的差异。
5. 反向传播：计算梯度，更新权重。
6. 更新权重：使用优化规则（如 SGD）调整参数。

#### 2. 定义网络
- 使用 `nn.Module` 定义网络，必须重写 `forward` 函数。
- 示例网络（LeNet）：
- 输入：32×32图像。
- 结构：卷积层、池化层、全连接层。
- 层示例：

    self.conv1 = nn.Conv2d(1, 6, 5)
    self.fc1 = nn.Linear(16 * 5 * 5, 120)

#### 3. 损失函数
- **损失函数**：衡量输出与目标值的差异。
- 示例：使用 `nn.MSELoss` 计算均方误差。

  criterion = nn.MSELoss()
  loss = criterion(output, target)

#### 4. 反向传播与优化
- **反向传播**：计算梯度，更新权重。
- 使用 `loss.backward()` 进行反向传播。
- 注意：每次反向传播前需清零梯度（`net.zero_grad()`）。
- **优化器**：使用 `torch.optim` 提供的优化算法（如 SGD、Adam）。

  optimizer = optim.SGD(net.parameters(), lr=0.01)
  optimizer.step()

#### 5. 注意事项
- **批量处理**：PyTorch 的 `nn.Module` 只支持小批量输入。
- **自动求导**：`autograd` 自动计算梯度，简化反向传播实现。

#### 6. 示例代码
- 定义网络：

  class Net(nn.Module):
      def __init__(self):
          super(Net, self).__init__()
          self.conv1 = nn.Conv2d(1, 6, 5)
          self.conv2 = nn.Conv2d(6, 16, 5)
          self.fc1 = nn.Linear(16 * 5 * 5, 120)
          self.fc2 = nn.Linear(120, 84)
          self.fc3 = nn.Linear(84, 10)
      
      def forward(self, x):
          x = F.max_pool2d(F.relu(self.conv1(x)), 2)
          x = F.max_pool2d(F.relu(self.conv2(x)), 2)
          x = x.view(-1, self.num_flat_features(x))
          x = F.relu(self.fc1(x))
          x = F.relu(self.fc2(x))
          x = self.fc3(x)
          return x

- 训练流程：

  optimizer.zero_grad()
  output = net(input)
  loss = criterion(output, target)
  loss.backward()
  optimizer.step()

#### 7. 总结
- PyTorch 的 `nn.Module` 和 `autograd` 提供了高效的神经网络构建和训练框架。
- 网络训练的核心步骤包括：定义网络、前向传播、计算损失、反向传播和优化权重。
- 使用 `torch.optim` 可以方便地实现多种优化算法，提高训练效率。