LOSS及其梯度 主讲人：龙良曲 Typical Loss ▪ Mean Squared Error ▪ Cross Entropy Loss ▪ binary ▪ multi-class ▪ +softmax ▪ Leave it to Logistic Regression Part MSE ▪ lo?? = σ[? − (?? + ?)]2 ▪ ?2 − ???? =

激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度 Loss及其梯度 Thank You.

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

什么是梯度 主讲人：龙良曲 Clarification ▪ 导数, derivate ▪ 偏微分, partial derivate ▪ 梯度, gradient What does grad mean? How to search for minima? http://mccormickml.com/2014/03/04/gradient-descent-derivation/ https://jed-ai.github.io/opt2_gradient_descent_1/ Initialization Learning rate Escape minima 下一课时 常见函数梯度 Thank You.

6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 层 预览版202112 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种 ResNet18 实战 10.15 参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11

2 偏导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.4.3 梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.4.4 链式法则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 2.6 概率 . . . . . . . . . . . 数值稳定性和模型初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 4.8.1 梯度消失和梯度爆炸 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 4.8.2 参数初始化 . . . .

1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； (?) = 1 ? σ?=1 ? −?(?)log ̰? (?) − (1 − ?(?))log(1 − ̰? (?)) 代价函数 ̰? 表示预测值 ? 表示真实值 7 逻辑回归的梯度下降 损失函数 ? ̰? , ? ൯ ? ̰? , ? = ? ?, ? = −?log(?) − (1 − ?)log(1 − ? ? = ̰? 设： 因为??(?,?) ?? = ? ?) ?? = ?? ?? = ?? ?? ⋅ ?? ?? = (− ? ? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? ?=??? + ? 8 逻辑回归的梯度下降 损失函数 ? ̰? , ? ൯ ? ̰? , ? = ? ?, ? = −?log(?) − (1 − ?)log(1 − ? ? = ̰? 设： 因为??(?,?) ?? = ?

1 2022年09月 机器学习-第二章 回归 黄海广 副教授 2 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 3 1. 线性回归 01 认识Python 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 4 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 12 梯度下降 ? 学习率 步长 13 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent,SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后 梯度下降的每一步中，用到一个样本，在每一次计算之后 便更新参数 ，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient Descent,MBGD） 梯度下降的每一步中，用到了一定批量的训练样本 14 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent） 梯度下降的每一步中，都用到了所有的训练样本 参数更新 ??: = ?? − ? 1 ? ෍ ?=1

10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 定义，并提供一些示 例。 4.1 梯度 假设 是将维度为 的矩阵 作为输入并返回实数值的函数。 然后 的梯度 （相对于 ）是偏导数矩阵，定义如下： 即， 矩阵: 请注意， 的维度始终与 的维度相同。特殊情况，如果 只是向量 ，则 重要的是要记住，只有当函数是实值时，即如果函数返回标量值，才定义函数的梯度。例如， 相对于 ，我们不能取 的梯度，因为这个量是向量值。 它直接从偏导数的等价性质得出： 它直接从偏导数的等价性质得出： 对于 ， 原则上，梯度是偏导数对多变量函数的自然延伸。然而，在实践中，由于符号的原因，使用梯度有时是 很困难的。例如，假设 是一个固定系数矩阵，假设 是一个固定系数向量。设 为 定义的函数，因此 。但现在考虑表达式， 该表达式应该如何解释？ 至少有两种可能性： 1.在第一个解释中，回想起 。 在这里，我 们将 解释为评估点 处的梯度，因此: 2.在第二种解释中，我们将数量

在趋向无穷的地方，函数值变化很小，容易出现梯度消失，不利于深层神经 的反馈传输 2.幂函数的梯度计算复杂 3.收敛速度比较慢 17 3.BP算法 主要步骤 第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 =1 ? ො?? ? − ?? ? 2 ?? = 1 2 ෍ ?=1 ? ො?? ? − ?? ? 2 19 3.BP算法 算法步骤 基于梯度下降（Gradient Descent）策略，以目标的 负梯度方向对参数进行调 整 ? = ? + ∆? ∆? = −? ??? ?? 第二步，明确参数调整策略 1h v 输入层 输出层 隐层 ,1 kx y , ˆk l y ih v dh v 1 j w 2 j w hj w qj w . . . . . . kx ˆky 20 3.BP算法 第三步，计算输出层阈值??的梯度 ??? ??? 利用链式法则，可得 其中， 所以， 更新公式 1h v 输入层 输出层 隐层 ,1 nx , k i x , k d x 1b 2b hb qb .