## PyTorch ## LOSS及其梯度 主讲人：龙良曲 ## Typical Loss ## Mean Squared Error ## Cross Entropy Loss binary multi-class +softmax Leave it to Logistic Regression Part ## MSE $$ \begin{aligned} ■ loss=\

## PyTorch ## 激活函数及其梯度 主讲人：龙良曲 ## Activation Functions  PITTS WITH LETTVIN: Pitts with Jerome Lettvin and one subject tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.1111, 0.3333, 0.5556, 0.7778, 1.0000]) ## 下一课时 Loss及其梯度 ## Thank You

## PyTorch ## 常见函数梯度 主讲人：龙良曲 ## Common Functions |Common Functions|Function|Derivative| |---|---|---| |Constant|c|0| |Line|x|1| ||ax|a| |Square|$ x^{2} $|2x| |Square Root|$ \\sqrt{x} $|$ (\\frac{1

## PyTorch ## 什么是梯度 主讲人：龙良曲 ## Clarification 导数, derive - 偏微分, partial derive 梯度, gradient $$ \nabla f=\left(\frac{\partial f}{\partial x_{1}};\frac{\partial f}{\partial x_{2}};\ldots;\frac{\partial jpg)  ## 下一课时 常见函数梯度 ## Thank You

## PyTorch ## 你好，梯度-II 主讲人：龙良曲 ## Linear regression  ![Image](/uploads/documents/f/8/b/4/f8b4c3a2dcd8f84ffb2c87d2ebeb3fa2/p2_2

4.2 偏导数 ..... 68 2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 训练误差和泛化误差 ..... 140 4.4.2 模型选择 ..... 142 4.4.3 欠拟合还是过拟合？ ..... 143 4.4.4 多项式回归 ..... 144 4.5 权重衰减 ..... 149 4.5.1 高维线性回归 ..... 151 4.5.2 从零开始实现 ..... 151 4.5.3 简洁实现 ..... 153 4.6 暂退法 (Dropout) 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... 166 4.8.1 梯度消失和梯度爆炸 ..... 166 4.8.2 参数初始化 ..... 168 4.9 环境和分布偏移 ..... 170 4.9.1 分布偏移的类型 ..... 171 4.9.2 分布偏移示例

## 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重； - 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值就会被降低；反之提高。用更新过的样本集去训练下一个分类器； - 将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。 ## AdaBoost算法 弱分类器1  权重提高 弱分类器2  权重提高  弱学习器2 基于学习的误差率2 更新学习器权重2 结合策略 带权重n的训练集 弱学习器n 基于学习的误差率n 更新学习器权重n ##

它是一个简单的前馈神经网络，它接受一个输入，然后一层接着一层地传递，最后输出计算的结果。神经网络的典型训练过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小); 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则：weight = weight - learning_rate 函数，backward 函数（用来计算梯度）会被 autograd 自动可以在 forward 函数中使用任何针对 Tensor 的操作。 net.parameters() 返回可被学习的参数（权重）列表和值 params = list(net.parameters()) print(len(params)) print(params[0].size()) # conv1 的权重 10 torch.Size([6 0691, -0.0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) ## note torch.nn 只支持小批量输入。整个 torch