## PyTorch ## LOSS及其梯度 主讲人：龙良曲 ## Typical Loss ## Mean Squared Error ## Cross Entropy Loss binary multi-class +softmax Leave it to Logistic Regression Part ## MSE $$ \begin{aligned} ■ loss=\

## PyTorch ## 激活函数及其梯度 主讲人：龙良曲 ## Activation Functions  PITTS WITH LETTVIN: Pitts with Jerome Lettvin and one subject tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000]) ## 下一课时 Loss及其梯度 ## Thank You

## PyTorch ## 常见函数梯度 主讲人：龙良曲 ## Common Functions |Common Functions|Function|Derivative| |---|---|---| |Constant|c|0| |Line|x|1| ||ax|a| |Square|$ x^{2} $|2x| |Square Root|$ \\sqrt{x} $|$ (\\frac{1

## PyTorch ## 什么是梯度 主讲人：龙良曲 ## Clarification 导数, derive - 偏微分, partial derive 梯度, gradient $$ \nabla f=\left(\frac{\partial f}{\partial x_{1}};\frac{\partial f}{\partial x_{2}};\ldots;\frac{\partial jpg)  ## 下一课时 常见函数梯度 ## Thank You

## PyTorch ## 你好，梯度 主讲人：龙良曲 ## Gradient Descent $$ \begin{aligned}&\bullet loss=x^{2}*\sin(x)\end{aligned} $$ 

## PyTorch ## 你好，梯度-II 主讲人：龙良曲 ## Linear regression  ![Image](/uploads/documents/f/8/b/4/f8b4c3a2dcd8f84ffb2c87d2ebeb3fa2/p2_2

现代编程思想 案例：自动微分 Hongbo Zhang ## 微分 • 微分被应用于机器学习领域 ◦ 利用梯度下降求局部极值 牛顿迭代法求函数解： $ x^{3}-10x^{2}+x+1=0 $ • 我们今天研究简单的函数组合 ○ 例： $ f(x_{0},x_{1})=5x_{0}^{2}+x_{1} $ ■ $ f(10,100)=600 $ ■ $ \frac{\partial [Image](/uploads/documents/6/1/c/f/61cf1e47ed6a4eebc071a0cd81c52bca/p11_2.jpg) ## 微分 • 微分被应用于机器学习领域 ◦ 利用梯度下降求局部极值 牛顿迭代法求函数解： $ x^{3}-10x^{2}+x+1=0 $ • 我们今天研究简单的函数组合 ○ 例： $ f(x_{0},x_{1})=5x_{0}^{2}+x_{1} val : 10.0 } 12. } ## 总结 • 本章节介绍了自动微分的概念 ☐ 展示了符号微分 ☐ 展示了前向微分与后向微分 • 拓展阅读 ○ 3Blue1Brown：深度学习系列（梯度下降法、反向传播算法）

## 深度学习-神经网络的编程基础 黄海广 副教授 2023年03月 ## 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 ### 1. 二分类与逻辑回归 ## 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 ## 符号定义 }\log\hat{y}^{(i)}-(1-y^{(i)})\log(1-\hat{y}^{(i)})\right) $$ ## 逻辑回归的梯度下降 损失函数 $ L(\hat{y}, y) $ 设: $ a = \hat{y} $ $$ L\big(\hat{y},y\big)=L(a,y)=-y\log(a)-(1-y)\log(1-a\big) a}\right)\cdot\left(\frac{d a}{d z}\right)=(-\frac{y}{a}+\frac{(1-y)}{(1-a)})\cdot a(1-a)=a-y $$ ## 逻辑回归的梯度下降 ## 损失函数 $ L(\hat{y}, y) $ 设: $ a = \hat{y} $ $$ L\big(\hat{y},y\big)=L(a,y)=-y\log(a)-(1-y)\log(1-a\big)