## PyTorch ## 过拟合&欠拟合 主讲人：龙良曲 ## Scenario1: house price Price vs Square Footage (with regression line)  ## Scenario2:

02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； __方法。 ## 过拟合和欠拟合  欠拟合  过拟合  正合适 ## 过拟合的处理 ### 1. 获得更多的训练数据 使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。 ### 2. 降维 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择

数据集划分 ## 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 不平衡数据的处理 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习 采样欠采样、过采样和综合采样的方法  ## 不平衡数据的处理 化处理。 ## 过拟合和欠拟合  欠拟合  过拟合 ![Image]

回归的评价指标 ## 过拟合和欠拟合  欠拟合  过拟合 ![Image] [Image](/uploads/documents/9/9/0/e/990e7845b4e774c84fea91a89b00e1cf/p23_3.jpg) 正合适 ## 过拟合的处理 ### 1. 获得更多的训练数据 使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。 ### 2. 降维 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择 ### 3. 正则化 正则化(regularization)的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。 ### 4. 集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 ## 数据决定一切 ![Image](/uploads/documents/9/9/0/e/990e7845b4e774c84fea91a89b00e1cf/p25_1

推理过程容易理解，计算简单，可解释性强。 ● 比较适合处理有缺失属性的样本。 ● 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。 ## 缺点： ● 容易造成过拟合，需要采用剪枝操作。 ● 忽略了数据之间的相关性。 ● 对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特征。 ### 1. 决策树原理 ## 决策树的三种基本类型 建立决策树 |11|老年|否|是|好|是| |12|老年|是|否|好|是| |13|老年|是|否|非常好|是| |14|老年|否|否|一般|否| ## I D3算法 ## 缺点 ID3 没有剪枝策略，容易过拟合； 信息增益准则对可取值数目较多的特征有所偏好，类似 “编号” 的特征其信息增益接近于 1； 只能用于处理离散分布的特征； 没有考虑缺失值。 #### 3. C4.5算法 01 决策树原理 |13|老年|是|否|非常好|是| |14|老年|否|否|一般|否| ### C4.5的剪枝 ## 过拟合的原因： 为了尽可能正确分类训练样本，节点的划分过程会不断重复直到不能再分，这样就可能对训练样本学习的“太好”了，把训练样本的一些特点当做所有数据都具有的一般性质，从而导致过拟合。 通过剪枝处理去掉一些分支来降低过拟合的风险。 剪枝的基本策略有 “预剪枝” （prepruning） 和 “后剪枝” （post-pruning）

自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第9章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第10章 卷积神经网络 10.1 全连接网络的问题 10.2 ReLU)激活函数，这是现在使用最为广泛的激活函数之一。2012 年，Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet，它采用了 ReLU 激活函数，并使用 Dropout 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二名在 Top-5 错误率上降低了惊人的 MNIST 手写数字图片数据集共包含 0~9 共 10 类数字，每个类别多达 7000 张图片。随着神经网络的兴起，尤其是深度学习，网络层数一般较深，模型的参数量可达百万、千万甚至十亿个，为了防止过拟合，需要的数据集的规模通常也是巨大的。现代社交媒体的流行也让收集海量数据成为可能，如 2010 年发布的 ImageNet 数据集收录了共 14197122 张图片，整个数据集的压缩文件大小就有 154GB。图

4.3 多层感知机的简洁实现 ..... 138 4.3.1 模型 ..... 138 4.4 模型选择、欠拟合和过拟合 ..... 139 4.4.1 训练误差和泛化误差 ..... 140 4.4.2 模型选择 ..... 142 4.4.3 欠拟合还是过拟合？ ..... 143 4.4.4 多项式回归 ..... 144 4.5 权重衰减 ..... 149 4 ... 151 4.5.2 从零开始实现 ..... 151 4.5.3 简洁实现 ..... 153 4.6 暂退法 (Dropout) ..... 156 4.6.1 重新审视过拟合 ..... 156 4.6.2 扰动的稳健性 ..... 157 4.6.3 实践中的暂退法 ..... 157 4.6.4 从零开始实现 ..... 158 4.6.5 简洁实现 大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学；（3）将模型拟合数据的优化算法；（4）能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。

rac{1}{m}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})x_{j}^{(i)}\end{aligned} $$ ### 3. 逻辑回归求解 正则化：目的是为了防止过拟合 $$ J(w)=\frac{1}{m}\sum_{i=1}^{m}\left[-y^{(i)}\log\left(h\big(x^{(i)}\big)\right)-\big(1-y^{(i) e3d4480f30e6e54acb74a90839107df/p18_1.jpg) 没有正则化，过拟合  正则化过度，欠拟合 当 $ \lambda $ 的值开始上升时，降低了方差。 ![Image](/uploads/

## SVM的超参数 $ \gamma $ 越大，支持向量越少， $ \gamma $ 值越小，支持向量越多。其中 C 是惩罚系数，即对误差的宽容度。C越高，说明越不能容忍出现误差，容易过拟合。C越小，容易欠拟合。  ## 总结 ## 下面是一些SVM普遍使用的准则：