深度学习与PyTorch入门实战 - 18.2 LOSS及其梯度

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档主要讲解了PyTorch中常用的损失函数及其梯度计算方法。内容包括均方误差（MSE）损失、交叉熵损失（Cross Entropy Loss）以及Softmax函数的实现。文档还详细介绍了PyTorch中计算梯度的API，如torch.autograd.grad和loss.backward()方法，并通过示例代码展示了如何计算参数的梯度。

AI总结

### 总结

本文主要介绍了深度学习中损失函数（LOSS）及其梯度计算的相关知识，重点围绕PyTorch框架展开讲解。

#### 1. **典型损失函数**
- **均方误差（MSE）**：用于回归问题，计算预测值与真实值的平方差之和。
- **交叉熵损失（Cross Entropy Loss）**：用于分类问题，适用于二元分类和多类分类，通常与Softmax结合使用。

#### 2. **梯度计算**
- **PyTorch的梯度API**：
- `torch.autograd.grad(loss, [w1, w2, ...])`：返回指定参数的梯度。
- `loss.backward()`：自动计算损失相对于所有可学习参数的梯度，并将其存储在参数的`.grad`属性中。

- **实现细节**：
- 使用`torch.autograd.grad`时，确保变量具有`requires_grad=True`属性。
- 使用`backward()`时，若需要多次计算梯度，需设置`retain_graph=True`以保留计算图。

#### 3. **Softmax函数**
- Softmax将 logits 转换为概率分布。
- 其导数公式为：
$$ \frac{\partial p_{i}}{\partial a_{j}} = p_{i}(\delta_{ij} - p_{j}) $$

#### 4. **示例**
- **MSE梯度计算**：

  x = torch.ones(1)
  w = torch.full([1], 2)
  mse = F.mse_loss(torch.ones(1), x * w)
  w.requires_grad = True
  torch.autograd.grad(mse, [w])  # 返回 (tensor([2.]),)

- **Softmax梯度计算**：

  a = torch.rand(3)
  p = F.softmax(a, dim=0)
  # 避免计算图释放，设置 retain_graph=True
  torch.autograd.grad(p[1], [a], retain_graph=True)

#### 5. **总结**
- 损失函数是模型优化的核心，选择合适的损失函数对模型性能至关重要。
- PyTorch提供了强大的自动求导功能，简化了梯度计算过程。
- 在实际应用中，需注意变量的可导性设置和计算图的保留问题，以避免运行时错误。

通过本文，读者可以掌握PyTorch中损失函数的实现及其梯度计算的基本方法，并能够应用于实际的深度学习任务中。