深度学习与PyTorch入门实战 - 20. 链式法则

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档主要介绍了链式法则及其在PyTorch中的应用。通过表格形式详细列出了多种导数规则，包括乘积法则、求和法则、商法则等。同时，文档通过具体的PyTorch代码示例，演示了如何利用链式法则计算梯度，展示了反向传播的基本原理和实现方法。

AI总结

### 文档总结

#### 1. 链式法则的基本规则
链式法则是微积分中的核心工具，用于计算复合函数的导数。文档中总结了以下导数规则：

- **常数乘法法则**：$cf' = cf$
- **幂法则**：$(x^n)' = nx^{n-1}$
- **和法则**：$(f+g)' = f' + g'$
- **差法则**：$(f-g)' = f' - g'$
- **乘积法则**：$(fg)' = f'g + fg'$
- **商法则**：$\left(\frac{f}{g}\right)' = \frac{f'g - g'f}{g^2}$
- **倒数法则**：$\left(\frac{1}{f}\right)' = -\frac{f'}{f^2}$
- **链式法则**：
- 表达形式：$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$ 或 $f'(g(x)) \cdot g'(x)$
- 示例：$y = f(g(x))$，则$y' = f'(g(x)) \cdot g'(x)$

#### 2. PyTorch中的链式法则
PyTorch通过其自动求导功能`autograd`实现了链式法则，用于计算神经网络中的梯度。文档中通过一个简单的神经网络示例展示了链式法则的应用：

- **前向传播**：
- $y_1 = x w_1 + b_1$
- $y_2 = y_1 w_2 + b_2$

- **反向传播**：
- 使用`autograd.grad`计算梯度：
- $\frac{\partial y_2}{\partial w_1} = \frac{\partial y_2}{\partial y_1} \cdot \frac{\partial y_1}{\partial w_1} = w_2 \cdot x$
- 代码示例：

    dy2_dy1 = autograd.grad(y2, [y1], retain_graph=True)[0]
    dy1_dw1 = autograd.grad(y1, [w1], retain_graph=True)[0]
    dy2_dw1 = autograd.grad(y2, [w1], retain_graph=True)[0]

#### 3. 核心观点
- 链式法则是深度学习中计算梯度的基础。
- PyTorch通过`autograd`实现了高效的梯度计算，简化了神经网络的反向传播过程。
- 通过链式法则，可以逐层计算梯度并更新网络参数，从而实现模型训练。

#### 4. 下一步
文档最后提到下一课时将讲解MLP（多层感知机）的反向传播，进一步深入链式法则在复杂网络中的应用。

---

### 总结
文档系统地介绍了链式法则的基本规则及其在PyTorch中的应用，重点展示了如何通过`autograd`实现神经网络的梯度计算。链式法则不仅是微积分的核心工具，也是深度学习框架（如PyTorch）实现自动求导的关键机制。