## 本章目录 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ### 1. 小批量梯度下降 ## 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 小批量梯度下降 ## 小批量梯度下降（Mini-Batch Gradient Descent） 梯度下降的每一步中，用到了一定批量的训练样本 \ (j=0,1,\ldots,n\text{)})\\\end{aligned} $$ b=1 （随机梯度下降,SGD） b=m （批量梯度下降,BGD） b=batch_size，通常是2的指数倍，常见有32,64,128等。 (小批量梯度下降,MBGD) ## 小批量梯度下降 Batch gradient descent  ### 2. 优化算法 01 小批量梯度下降 ## 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 伦敦温度的例子 $$ \theta_{1}=40^{\circ}\mathrm{F} $$

## PyTorch ## LOSS及其梯度 主讲人：龙良曲 ## Typical Loss ## Mean Squared Error ## Cross Entropy Loss binary multi-class +softmax Leave it to Logistic Regression Part ## MSE $$ \begin{aligned} ■ loss=\

## PyTorch ## 激活函数及其梯度 主讲人：龙良曲 ## Activation Functions  PITTS WITH LETTVIN: Pitts with Jerome Lettvin and one subject tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000]) ## 下一课时 Loss及其梯度 ## Thank You

## PyTorch ## 常见函数梯度 主讲人：龙良曲 ## Common Functions |Common Functions|Function|Derivative| |---|---|---| |Constant|c|0| |Line|x|1| ||ax|a| |Square|$ x^{2} $|2x| |Square Root|$ \\sqrt{x} $|$ (\\frac{1

## PyTorch ## 什么是梯度 主讲人：龙良曲 ## Clarification 导数, derive - 偏微分, partial derive 梯度, gradient $$ \nabla f=\left(\frac{\partial f}{\partial x_{1}};\frac{\partial f}{\partial x_{2}};\ldots;\frac{\partial jpg)  ## 下一课时 常见函数梯度 ## Thank You

4.2 偏导数 ..... 68 2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... softmax 运算 ..... 107 3.4.5 小批量样本的矢量化 ..... 108 3.4.6 损失函数 ..... 108 3.4.7 信息论基础 ..... 109 3.4.8 模型预测和评估 ..... 110 3.5 图像分类数据集 ..... 111 3.5.1 读取数据集 ..... 111 3.5.2 读取小批量 ..... 113 3.5.3 整合所有组件 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... 166 4.8.1 梯度消失和梯度爆炸 ..... 166 4.8.2 参数初始化 ..... 168 4.9 环境和分布偏移 ..... 170 4.9.1 分布偏移的类型 ..... 171 4.9.2 分布偏移示例

## 深度学习-神经网络的编程基础 黄海广 副教授 2023年03月 ## 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 ### 1. 二分类与逻辑回归 ## 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 ## 符号定义 }\log\hat{y}^{(i)}-(1-y^{(i)})\log(1-\hat{y}^{(i)})\right) $$ ## 逻辑回归的梯度下降 损失函数 $ L(\hat{y}, y) $ 设: $ a = \hat{y} $ $$ L\big(\hat{y},y\big)=L(a,y)=-y\log(a)-(1-y)\log(1-a\big) a}\right)\cdot\left(\frac{d a}{d z}\right)=(-\frac{y}{a}+\frac{(1-y)}{(1-a)})\cdot a(1-a)=a-y $$ ## 逻辑回归的梯度下降 ## 损失函数 $ L(\hat{y}, y) $ 设: $ a = \hat{y} $ $$ L\big(\hat{y},y\big)=L(a,y)=-y\log(a)-(1-y)\log(1-a\big)

## PyTorch ## 你好，梯度 主讲人：龙良曲 ## Gradient Descent $$ \begin{aligned}&\bullet loss=x^{2}*\sin(x)\end{aligned} $$ 

## 机器学习-第二章 回归 黄海广 副教授 2022年09月 ## 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ### 1. 线性回归 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 回归的概念 ## 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ $$ \frac{\partial X^{\mathrm{T}}A X}{\partial X}=2A X $$ ### 1. 线性回归 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 梯度下降  /p12_3.jpg) ## 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent, BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent, SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient

## PyTorch ## 你好，梯度-II 主讲人：龙良曲 ## Linear regression  ![Image](/uploads/documents/f/8/b/4/f8b4c3a2dcd8f84ffb2c87d2ebeb3fa2/p2_2