深度学习与PyTorch入门实战 - 18.2 LOSS及其梯度

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

本文档介绍了深度学习中的损失函数及其梯度计算方法，主要涵盖了Mean Squared Error (MSE)和Cross Entropy Loss两种典型损失函数的定义与计算。具体包括MSE的数学表达式及其梯度导数、交叉熵损失在二分类和多分类场景下的应用，以及结合Softmax函数的使用情况。此外，还介绍了PyTorch中通过torch.autograd.grad和loss.backward()方法来计算梯度的具体步骤。

AI总结

以下是文档内容的总结：

### 1. **损失函数及其类型**
- **均方误差（Mean Squared Error, MSE）**：用于回归问题，计算预测值与真实值之间的平方差。
- 公式：$\text{loss} = \sigma [y - (xw + b)]^2$
- 最小值形式：$\text{loss} = \frac{1}{n} \sum (y - xw + b)^2$
- **交叉熵损失（Cross Entropy Loss）**：用于分类问题，特别适合二分类和多分类场景，常与Softmax层结合使用。
- 二分类：直接使用交叉熵损失。
- 多分类：结合Softmax层，输出概率分布。

### 2. **损失函数的梯度计算**
- **梯度计算公式**：
- 对于均方误差，梯度公式为：
$\nabla_{\theta} \text{loss} = 2 \sigma [y - f_{\theta}(x)] \cdot \nabla_{\theta} f_{\theta}(x)$
- 梯度计算是通过反向传播实现的。
- **PyTorch中的梯度计算API**：
- 使用`torch.autograd.grad(loss, [w1, w2, ...])`计算梯度。
- 使用`loss.backward()`计算梯度，并通过`w1.grad`、`w2.grad`访问参数的梯度。

### 3. **Softmax层的作用**
- Softmax层用于将多分类任务的输出转化为概率分布，确保输出结果在[0,1]范围内且总和为1。

### 总结
本文档主要介绍了几种典型的损失函数（如均方误差和交叉熵损失）及其应用场景，并详细讲解了PyTorch中如何计算损失函数的梯度。内容涵盖了损失函数的公式、梯度计算方法以及Softmax层的作用。