## PyTorch ## MLP反向传播 主讲人：龙良曲 ## Chain rule ## $$ w_{jk}^{1} \xrightarrow{\sum} O_{k}^{1} \xrightarrow{\sum} O_{k}^{2} \xrightarrow{\sum} E \xrightarrow{\sum} t_{k} $$ $$ \frac{\partial E}{\partial

程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小); 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则：weight = weight - learning_rate * gradient ## 定义网络 开始定义一个网络： import 0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) ## note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 object="" at="" 0x7f417c5f3d30=""> ## 反向传播 调用 loss.backward() 获得反向传播的误差。 但是在调用前需要清除已存在的梯度，否则梯度将被累加到已存在的梯度。 现在，我们将调用 loss.backward()，并查看 conv1 层的偏差（bias）项在反向传播前后的梯度。 net.zero_grad()

Var(1)) -> Const(2) ■ 缺点：计算结果可能复杂；可能重复计算；难以直接利用语言原生控制流 ◦ 自动微分：利用复合函数求导法则、由基本运算组合进行微分 ■ 分为前向微分和后向微分 ## 符号微分 ## • 我们以符号微分定义表达式构建的一种语义 1. enum Symbol { 2. Constant(Double) 3. Var(Int) // value / derivative, true) 10. } 11. } |> debug // 0.37851665401644224 12. } ## 后向微分 - 利用链式法则 。若有 $ w=f(x,y,z,\cdots),x=x(t),y=y(t),z=z(t),\cdots $ ，那么 $$ \begin{array}{l}\frac{\partial $ ，直至输入参数的微分 $ \frac{\partial g_{i}}{\partial x_{i}} $ 可以同时求出每一个输入的偏微分，适用于输入参数多于输出参数 ## 后向微分 ## - 需前向计算，再后向计算微分 1. struct Backward { 2. value : Double // 当前节点计算值 3. backward : (Double) ->

会用它。 Tanh激活函数：tanh是非常优秀的，几乎适合所有场合。 ReLu激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用ReLu或者Leaky ReLu。 ### 4. 反向传播算法 $$ \begin{aligned}\left.\begin{array}{l}x\\w\\b\end{array}\right\}\Longrightarrow z=w^{T}x+b\L y)=(-y\log\alpha-(1-y)\log(1-a))^{\prime}=-\frac{y}{a}+\frac{1-y}{1-a}\end{array}\right.\end{aligned} $$ ### 4. 反向传播算法 因为 $ \frac{dL(a,y)}{dz}=\frac{dL}{dz}=(\frac{dL}{da})\cdot(\frac{da}{dz}) $ 并且 $ \frac{da}{dz}=a\cdot(1-a) ed} $$  ### 4. 反向传播算法  $$ \begin{al

4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 73 2.6.1 基本概率论 ... 157 4.6.4 从零开始实现 ..... 158 4.6.5 简洁实现 ..... 161 4.7 前向传播、反向传播和计算图 ..... 162 4.7.1 前向传播 ..... 163 4.7.2 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... . 188 深度学习计算 ..... 191 5.1 层和块 ..... 191 5.1.1 自定义块 ..... 193 5.1.2 顺序块 ..... 194 5.1.3 在前向传播函数中执行代码 ..... 195 5.1.4 效率 ..... 197 5.2 参数管理 ..... 197 5.2.1 参数访问 ..... 198 5.2.2 参数初始化 ..

输出神经元: 全连接层：  ## 前向传播 ## 符号定义： • L为网络层数，w和b为模型参数，X为输入数据 • $ x_{i} $ : 第1层第i个神经元的输入 • $ a_{i}^{(l)} $ ：第l层第i个神经元的输出（当 ts/6/2/7/a/627a33d7225710129a5b88d239debd76/p21_2.jpg) Layer $ L_{1} $ Layer $ L_{2} $ ## 前向传播 3 层神经网络 计算过程： $$ a_{1}^{(2)}=f\left(w_{11}^{(1)}x_{1}+w_{12}^{(1)}x_{2}+w_{13}^{(1)}x_{3}+b_{1}^{(1)}\right) nts/6/2/7/a/627a33d7225710129a5b88d239debd76/p22_2.jpg) Layer $ L_{1} $ Layer $ L_{2} $ ## 后向传播（Back Propagation, BP） BP算法的基本思想是通过损失函数对模型参数进行求导，并根据复合函数求导常用的“链式法则”将不同层的模型参数的梯度联系起来，使得计算所有模型参数的梯度