Early Stop,Dropout 主讲人：龙良曲 Tricks ▪ Early Stopping ▪ Dropout ▪ Stochastic Gradient Descent Early Stopping ▪ Regularization How-To ▪ Validation set to select parameters ▪ Monitor validation performance Batch- Norm Stochastic Gradient Descent ▪ Stochastic ▪ not random! ▪ Deterministic Gradient Descent https://towardsdatascience.com/difference-between-batch-gradient-descent-and- stochastic-gradient- https://towardsdatascience.com/difference-between-batch-gradient-descent-and- stochastic-gradient-descent-1187f1291aa1 ?? ??? Stochastic Gradient Descent ▪ Not single usually ▪ batch = 16, 32, 64, 128… Why

梯度下降 ? 学习率 步长 11 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent,SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后 便更新参数 ，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 13梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) ?? = ? ??? 1 2 ℎ ? ? − ? ? 2 = 2 ⋅ 1 2 ℎ ? ? − ? ? ⋅ = ℎ ? ? − ? ? ⋅ ? ??? ൱ ෍ ?=0 ? (?? ?? ? − ? ? = ℎ ? ? − ? ? ?? ? 14梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) −

梯度下降 ? 学习率 步长 13 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic Gradient Descent,SGD） 梯度下降的每一步中，用到一个样本，在每一次计算之后 便更新参数 ，而不需要首先将所有的训练集求和 小批量梯度下降（Mini-Batch Gradient 1 ? ෍ ?=1 ? ℎ ?(?) − ?(?) ⋅ ?? (?) (同步更新?? ，(j=0,1,...,n )) 梯度 学习率 15梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） ? = ? − ? ⋅ ??(?) ?? = ? ??? 1 2 ℎ ? ? − ? ? 2 = 2 ⋅ 1 2 ℎ ? ? − ? ? ⋅ ℎ ? ? − ? ? ⋅ ? ??? (෍ ?=0 ? ( ???? (?) − ?(?))) = ℎ ? ? − ? ? ?? ? 16梯度下降的三种形式 随机梯度下降（Stochastic Gradient Descent） 梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不 需要首先将所有的训练集求和 参数更新 ??: = ?? − ? ℎ ?(?) −

• 训练初期，损失值一直没什么波动 何时减小学习率 • 训练初期，损失值直接爆炸或者 NAN • 损失值先开始速降，后平稳多时 • 训练后期，损失值反复上下波动 优化器介绍：SGD（Stochastic Gradient Descent） 优化器介绍：SGD-M（Momentum） SGD SGD with Momentum SGD 在遇到沟壑时容易陷入震荡。为此，可以为其引入动量（Momentum），加速

以称为梯度）。但实际中的执行可能会非常慢：因为在每一次更新参数之前，我们必须遍历整个数据集。因此， 我们通常会在每次需要计算更新的时候随机抽取一小批样本，这种变体叫做小批量随机梯度下降（minibatch stochastic gradient descent）。 在每次迭代中，我们首先随机抽样一个小批量B，它是由固定数量的训练样本组成的。然后，我们计算小批 量的平均损失关于模型参数的导数（也可以称为梯度）。 随机梯度下降 在前面的章节中，我们一直在训练过程中使用随机梯度下降，但没有解释它为什么起作用。为了澄清这一点， 我们刚在 11.3节中描述了梯度下降的基本原则。本节继续更详细地说明随机梯度下降（stochastic gradient descent）。 %matplotlib inline import math import torch from d2l import torch as d2l 就可以同时执行多个程序。尽管如此，了解设备的局限性是值得的，以避免对应的设备内存的型号不合适。 156 https://devblogs.nvidia.com/nvidia‐turing‐architecture‐in‐depth/ 12.4. 硬件 523 图12.4.8: NVIDIA Turing架构（图片由英伟达提供） 最后值得一提的是张量核（tensor core）。它们是最近增加更多优化电路趋势的一个例子，这些优化电路对

以减少数据到一维，只有一个特征表示身高就够了。 很多特征具有线性关系，具有线性关系的特征很多都是冗余的特 征，去掉冗余特征对机器学习的计算结果不会有影响。 10 1.降维概述 数据可视化 t-distributed Stochastic Neighbor Embedding(t-SNE) t-SNE（TSNE）将数据点之间的相似度转换为概率。原始空间中的相似度由 高斯联合概率表示，嵌入空间的相似度由“学生t分布”表示。

View of Boosting: Discussion[J]. Annals of Statistics, 2000, 28(2):393-400. [6] FRIEDMAN J H . Stochastic gradient boosting[J]. Computational Statistics & Data Analysis, 2002, 38. 49 参考文献 [7] FRIEDMAN

One-hot 编码，通过 one_hot 函数即可 实现。 In [1]: def one_hot(label, depth=10): # one-hot 编码函数，depth 设置向量长度 out = torch.zeros(label.size(0), depth) idx = torch.LongTensor(label).view(-1, 1) out out y = torch.tensor([0,1,2,3]) # 数字编码的 4 个样本标签 预览版202112 3.3 误差计算 7 y = one_hot(y, depth=10) # one-hot 编码，指定类别总数为 10 print(y) Out[1]: tensor( [[1. 0. 0. 0. 0. 0. 0. 0. 0. 0.] # 数字 reshape(x, [-1, 28*28]) # 打平 y = tf.cast(y, dtype=tf.int32) # 转成整型张量 y = tf.one_hot(y, depth=10) # one-hot 编码 # 返回的 x,y 将替换传入的 x,y 参数，从而实现数据的预处理功能 return x,y 5.7.4 循环训练

select it from a drop-down. Camera Depth Number fields effecting distance can also use the eyedropper. This is used to set the camera’s depth of field so the depth chosen is in focus. E will activate way you can control the positioning along two axes in one view and determine the depth in the other. By default, the depth of the geometry under the cursor is used. This can be disabled using the Cursor cursor. Edge Snaps to the edge that’s closest to the mouse cursor. Volume Snaps the selection to a depth that’s centered inside the object under the cursor. This is useful for positioning an Armature bone

way you can control the positioning along two axes in one view and determine depth in the second view. By default the depth of the geometry under the cursor is used, this can be disabled using the Cursor not the default. Shift Toggles the Aspect setting that is not the default. ⼯具设置 深度 The initial depth used when placing the cursor. Start placing on the surface, using the 3D cursor as a fallback. Start not the default. Shift Toggles the Aspect setting that is not the default. ⼯具设置 深度 The initial depth used when placing the cursor. Start placing on the surface, using the 3D cursor as a fallback. Start