化问题： min ? 1 ? ෍ ?=1 ? L ??, ? ?? 机器学习的概念-损失函数 24 当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最 小化能确保有好的学习性能。然而，当样本数量不足时，单单利用经验风险最小化可能会导致 “过拟合”的问题。 为此，我们再原有基础上加上用于控制模型复杂度的正则项(Regularizer)，得到结构最小化准 其中，?(?)代表对模型复杂度的惩罚。模型越复杂，?(?)越大，模型越简单，?(?)就越小。?是 一个正的常数，也叫正则化系数，用于平衡经验风险和模型复杂度。 一般来说，结构风险小的模型需要经验风险和模型复杂度同时小，因此对训练数据和测试数据 都能有较好的拟合。 机器学习的概念-损失函数 min ? 1 ? ෍ ?=1 ? ? ??, ? ?? 25 机器学习的概念-优化算法 Python模块-Matplotlib 图形的各元素名称如下： 绘图框 是图形的最高容器，所 有图形必须放置在绘图框中. 子图 是绘图框中所包含的图形 ，即便绘图框只包含一幅图，也 称之为子图. 元素 是组成子图的部件，从子 图最内部的数据线条到外围的坐 标轴标签等都属于元素 71 Python模块-Matplotlib 图 形 样 式 72 4. 机器学习的开发流程 01 机器学习概述 02

条路线都显示了预计的通行时间⋯⋯由此可见，机器学习渗透在生活中的方方面面，在短短几秒钟的时间里， 人们与智能手机的日常互动就可以涉及几种机器学习模型。 现在，假如需要我们编写程序来响应一个“唤醒词”（比如“Alexa”“小爱同学”和“Hey Siri”）。我们试 着用一台计算机和一个代码编辑器编写代码，如 图1.1.1中所示。问题看似很难解决：麦克风每秒钟将收集大 约44000个样本，每个样本都是声波振幅的测量值。 with data）。比如，我们可以通过向机器学习系统，提供许多猫和狗的图片来设计一个 “猫图检测器”。检测器最终可以学会：如果输入是猫的图片就输出一个非常大的正数，如果输入是狗的图片 就会输出一个非常小的负数。如果检测器不确定输入的图片中是猫还是狗，它会输出接近于零的数⋯⋯这个 例子仅仅是机器学习常见应用的冰山一角，而深度学习是机器学习的一个主要分支，本节稍后的内容将对其 进行更详细的解析。 1 了”），有些则长篇大论。与传统机器学习方法相比，深度学习的一个主要优势是可以处理不同长度的数据。 一般来说，拥有越多数据的时候，工作就越容易。更多的数据可以被用来训练出更强大的模型，从而减少对 预先设想假设的依赖。数据集的由小变大为现代深度学习的成功奠定基础。在没有大数据集的情况下，许多 令人兴奋的深度学习模型黯然失色。就算一些深度学习模型在小数据集上能够工作，但其效能并不比传统方 法高。 请注意，仅仅拥有海量的数据

Python模块-Matplotlib 图形的各元素名称如下： 绘图框 是图形的最高容器，所 有图形必须放置在绘图框中. 子图 是绘图框中所包含的图形 ，即便绘图框只包含一幅图，也 称之为子图. 元素 是组成子图的部件，从子 图最内部的数据线条到外围的坐 标轴标签等都属于元素 72 Python模块-Matplotlib 图 形 样 式 73 深度学习框架 Keras 74 深度学习框架-PyTorch

指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 小，而且方差的减小补偿了偏差的增大，因 此总体而言是更好的模型。 随机森林 数据集 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法 01 Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直 到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 后一个模型的训练永远是在前一个模型的基础上完成！ 12 Adaboost算法 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重； • 训 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值 就会被降低；反之提高。用更新过的样本集去训练下一个分类器； • 将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分 类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。 13 AdaBoost算法 弱分类器1 权重提高 弱分类器3 权重提高 弱分类器2 弱分类器 组成了强 分类器 14 Adaboost算法

Person, Horse, Barrier, Table, etc Object Detection 检测 识别 分割 跟踪 核 心 SACC2017 图像技术的三个核心难点>>小、快、准 小模型 线上速度快 预测准 Frequent remote upgrade CPU-constrained, real-time Cloud processing SACC2017 视觉感知模型 检测-人脸检测/人形检测 场景多样、人脸小、位置边缘 本页图片均来自公开摄像头 SACC2017 检测-人脸检测/人形检测 手机 服务器 可缩小尺寸 240P 720P CPU ARM（千元机） E5-2630 时间 50ms 120ms GPU 2-5ms(K40) SACC2017 图像技术的三个核心难点>>小、快、准 小模型 线上速度快 预测准 Frequent 图像技术的三个核心难点>>小、快、准 模型 数据 工程 模型缩减 结构演进 SACC2017 单尺度卷积核 多尺度卷积核 视觉感知的三个核心难点>>小、快、准 Inception结构 SACC2017 Hole algorithm Cross-convolution 视觉感知的三个核心难点>>小、快、准 稀疏卷积核 SACC2017 视觉感知的三个核心难点>>小、快、准 低秩矩阵分解

Focal Loss 最终形式 RetinaNet 准确率与性能对比 RetinaNet 网络结构 RetinaNet 与同期SOTA检测器对比 YOLOv3 申请出战！ YOLOv3：小目标识别大提升 YOLOv3：工业级高性能目标检测器 再谈检测器上生产的利弊权衡 • 特征提取网络(VGG, ResNet, Inception, MobileNet)； • 用哪个特征层来做检测； Microsoft Common Objects in Context MS-COCO PASCAL VOC 数据集 4个大类：person, animal, vehicle, household 20个小类： • person • bird, cat, cow, dog, horse, sheep • aeroplane, bicycle, boat, bus, car, motorbike, train ‘accessory’, ‘electronic’, ‘furniture’, ‘vehicle’, ‘sports’, ‘animal’, ‘kitchen’, ‘person’, ‘outdoor’] 91个小类： [‘person’, ‘bicycle’, ‘car’, ‘motorcycle’, ‘airplane’, ‘bus’, ‘train’, ‘truck’, ‘boat’, ‘traffic

等。特别地，对于一维函数，上述向量形式可以退化成标量形式： ?′ = ? − ? ∙ d? d? 通过上式迭代更新?′若干次，这样得到的?′处的函数值?′，总是更有可能比在?处的函数值? 小。 通过式(2.1)方式优化参数的方法称为梯度下降算法，它通过循环计算函数的梯度∇?并 更新待优化参数?，从而得到函数?获得极小值时参数?的最优数值解?∗。值得注意的是， 在深度学习中，一般?表示模型输入，模型的待优化参数一般用 的使用频率非常高，需要熟练掌 握。 4.6.1 索引 PyTorch 张量支持基本的[?][?]⋯标准索引方式，也支持通过逗号分隔索引号的索引方 式。考虑输入?为 4 张32 × 32大小的彩色图片，shape 为[4,32,32,3]，首先创建张量，代码 如下： 预览版202112 4.6 索引与切片 17 x = torch.randn(4,32,32,3) 种层级关系需要人为管理，也就是说，每个张量维度结构需要人为跟踪。为了方便表达， 这里把张量 shape 列表中相对靠左侧的维度叫作大维度，shape 列表中相对靠右侧的维度叫 作小维度，比如[2,4,4,3]的张量中，图片数量维度与通道数量相比，图片数量叫作大维度， 通道数叫作小维度。在优先写入小维度的存储设定下，上述张量的内存布局为 1 2 3 4 5 6 7 8 9 … … … 93 94 95

. . . . . . 152 12 常用数据集 Datasets 154 12.1 CIFAR10 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12.2 CIFAR100 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . epochs=10, batch_size=32) 3.1.5 例子 这里有几个可以帮助你开始的例子！ 在 examples 目录 中，你可以找到真实数据集的示例模型： • CIFAR10 小图片分类：具有实时数据增强的卷积神经网络 (CNN) 快速开始 11 • IMDB 电影评论情感分类：基于词序列的 LSTM • Reuters 新闻主题分类：多层感知器 (MLP) • MNIST batch。因此，这个元组中的所有数组长度必须相同（与这一个 batch 的大小相等）。不同的 batch 可能大小不同。例如，一个 epoch 的最后一个 batch 往往 比其他 batch 要小，如果数据集的尺寸不能被 batch size 整除。生成器将无限地在数据集上 循环。当运行到第 steps_per_epoch 时，记一个 epoch 结束。 • steps_per_epoch:

? × ? ? × ? ? × ? 奇异值 ?? ?? T 左奇异矩阵 右奇异矩阵 ≈ 如图所示，现在我们的矩阵? 只 需要黄色的部分的三个小矩阵就 可以近似描述了。 其中 ? 要比 ?小很多，也就是一个大的矩阵?可以用三个小的矩阵 ??×?, σ ?×? , ??×? T 来表示。 · · 29 2.SVD(奇异值分解) SVD案例 原始图像 处理后的图像 原始维度 可消除原始数据成分间的相互影响的因素 3.计算方法简单,主要运算时特征值分解,易于实现 4.它是无监督学习,完全无参数限制的 PCA算法缺点 1.主成分各个特征维度的含义具有一定的模糊性,不如原始样本特征的解释性强 2.方差小的非主成分也可能含有对样本差异的重要信息,因降维丢弃可能对后续数 据处理有影响 50 参考文献 [1] Andrew Ng. Machine Learning[EB/OL]. StanfordUniversity