## PyTorch ## LOSS及其梯度 主讲人：龙良曲 ## Typical Loss ## Mean Squared Error ## Cross Entropy Loss binary multi-class +softmax Leave it to Logistic Regression Part ## MSE $$ \begin{aligned} ■ loss=\

## PyTorch ## 激活函数及其梯度 主讲人：龙良曲 ## Activation Functions  PITTS WITH LETTVIN: Pitts with Jerome Lettvin and one subject tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000]) ## 下一课时 Loss及其梯度 ## Thank You

## PyTorch ## 常见函数梯度 主讲人：龙良曲 ## Common Functions |Common Functions|Function|Derivative| |---|---|---| |Constant|c|0| |Line|x|1| ||ax|a| |Square|$ x^{2} $|2x| |Square Root|$ \\sqrt{x} $|$ (\\frac{1

## PyTorch ## 什么是梯度 主讲人：龙良曲 ## Clarification 导数, derive - 偏微分, partial derive 梯度, gradient $$ \nabla f=\left(\frac{\partial f}{\partial x_{1}};\frac{\partial f}{\partial x_{2}};\ldots;\frac{\partial jpg)  ## 下一课时 常见函数梯度 ## Thank You

4.2 偏导数 ..... 68 2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... 166 4.8.1 梯度消失和梯度爆炸 ..... 166 4.8.2 参数初始化 ..... 168 4.9 环境和分布偏移 ..... 170 4.9.1 分布偏移的类型 ..... 171 4.9.2 分布偏移示例 4 预测 ..... 320 8.5.5 梯度裁剪 ..... 321 8.5.6 训练 ..... 322 8.6 循环神经网络的简洁实现 ..... 325 8.6.1 定义模型 ..... 326 8.6.2 训练与预测 ..... 328 8.7 通过时间反向传播 ..... 329 8.7.1 循环神经网络的梯度分析 ..... 330 8.7.2 通过时间反向传播的细节

本章目录 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ### 1. 小批量梯度下降 ## 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 小批量梯度下降 ## 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 w_{j},\ (j=0,1,\ldots,n\text{)})\\\end{aligned} $$ b=1 （随机梯度下降,SGD） b=m （批量梯度下降,BGD） b=batch_size，通常是2的指数倍，常见有32,64,128等。 (小批量梯度下降,MBGD) ## 小批量梯度下降 Batch gradient descent  ### 2. 优化算法 01 小批量梯度下降 ## 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 伦敦温度的例子 $$ \theta_{1}=40^{\circ}\mathrm{F} $$

在趋向无穷的地方，函数值变化很小，容易出现梯度消失，不利于深层神经的反馈传输 2.幂函数的梯度计算复杂 3. 收敛速度比较慢 ### 3. BP算法 ## 主要步骤 第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 ### iota}\left(\hat{y}_{j}^{k}-y_{j}^{k}\right)^{2} $$ ### 3. BP算法 ## 第二步，明确参数调整策略 基于梯度下降（Gradient Descent）策略，以目标的负梯度方向对参数进行调整 $$ v=v+\Delta v $$ $$ \Delta v=-\rho\frac{\partial E_{n}}{\partial v} s/b/b/8/3/bb832788f20936427a2d2c5058e6831d/p19_1.jpg) ### 3. BP算法 ## 第三步，计算输出层阈值 $ \theta_{j} $ 的梯度 $ \frac{\partial E_{k}}{\partial \theta_{j}} $ 利用链式法则，可得 $$ \frac{\partial E_{k}}{\partial\the

tensor([[−0.0107, −0.0021, 0.0047, 0.0092, −0.0091, −0.0030, 0.0069, −0.0105, −0.0061, −0.0051]]) ## 下一课时 MLP及梯度 ## Thank You

## PyTorch ## 你好，梯度 主讲人：龙良曲 ## Gradient Descent $$ \begin{aligned}&\bullet loss=x^{2}*\sin(x)\end{aligned} $$