深度学习与PyTorch入门实战 - 21. MLP反向传播推导

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档详细推导了MLP反向传播的过程，涵盖了链式法则在误差梯度计算中的应用。具体包括损失函数E对权重矩阵W的梯度计算，以及激活函数在前向传播和反向传播中的作用。推导过程展示了如何通过链式法则将损失函数的梯度分解为各个层的梯度，从而实现权重更新。文档内容为 理解和应用深度学习中的核心概念提供了数学基础。

AI总结

神经网络中的反向传播推导是通过链式法则实现的。考虑一个MLP网络，包括输入层、隐藏层和输出层，我们使用损失函数 \( E \) 来衡量输出的预测值与真实值的差异。

在反向传播过程中，我们计算损失相对于各层权重 \( w \) 的梯度。以输出层到隐藏层为例，损失 \( E \) 对权重 \( w_{jk} \) 的偏导可以分解为：

\[
\frac{\partial E}{\partial w_{jk}} = \frac{\partial E}{\partial o_k} \cdot \frac{\partial o_k}{\partial h_j} \cdot \frac{\partial h_j}{\partial w_{jk}}
\]

这里，\( o_k \) 是输出层的第 \( k \) 个神经元的输出，\( h_j \) 是隐藏层的第 \( j \) 个神经元的输出。根据链式法则，我们逐层传递误差梯度，从而实现权重的更新。

各部分的计算步骤如下：

1. **输出层到隐藏层的梯度**：
\[
\delta_o = \frac{\partial E}{\partial o}
\]
这里，\( \delta_o \) 是输出层的误差项。

2. **隐藏层到输入层的梯度**：
\[
\delta_h = \delta_o \cdot W_{ho} \cdot f'(h)
\]
其中，\( W_{ho} \) 是隐藏层到输出层的权重矩阵，\( f' \) 是激活函数的导数。

3. **权重更新**：
\[
W := W - \eta \cdot \frac{\partial E}{\partial W}
\]
其中，\( \eta \) 是学习率。

通过以上步骤，我们完成了从输出层到隐藏层，再到输入层的梯度计算和权重更新过程。这一推导过程对于理解和实现MLP的反向传播算法至关重要。