果显著，是深度学习最具代表性的模型。 除了有监督学习领域取得了惊人的成果，在无监督学习和强化学习领域也取得了巨大 的成绩。2014 年，Ian Goodfellow 提出了生成对抗网络，通过对抗训练的方式学习样本的 真实分布，从而生成逼近度较高的样本。此后，大量的生成对抗网络模型相继被提出，最 新的图片生成效果已经达到了肉眼难辨真伪的逼真度。2016 年，DeepMind 公司应用深度 神经网络到强化学习领域，提出了 DQN 入手，为大家介绍深度学习的一些主流应用。 1.4.1 计算机视觉 图片识别(Image Classification) 是常见的分类问题。神经网络的输入为图片数据，输出 值为当前样本属于每个类别的概率分布。通常选取概率值最大的类别作为样本的预测类 别。图片识别是最早成功应用深度学习的任务之一，经典的网络模型有 VGG 系列、 ResNet 系列、EfficientNet 系列等。 目标检测(Object 视频理解任务受到越来越多的关注。常见的视频理解任务有 视频分类、行为检测、视频主体抽取等。常用的模型有 C3D、TSN、DOVF、TS_LSTM 等。 图片生成(Image Generation) 是指通过学习真实图片的分布，并从学习到的分布中采样 而获得逼真度较高的生成图片。目前常见的生成模型有 VAE 系列、GAN 系列等。其中 GAN 系列算法近年来取得了巨大的进展，最新 GAN 模型产生的图片效果达到了肉眼难辨 真伪的程度，如图

2 矢量化加速 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 3.1.3 正态分布与平方损失 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 3.1.4 从线性回归到深度网络 . . . . . . . . . . . . . . . . . . . 168 4.9 环境和分布偏移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 4.9.1 分布偏移的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 4.9.2 分布偏移示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 4.9.3 分布偏移纠正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

曲率半径 曲线在点?处的曲率?(? ≠ 0)与曲线在点?处的曲率半径?有如下关系：? = 1 ? 机器学习的数学基础 9 线性代数 行列式 1.行列式按行（列）展开定理 (1) 设? = (???)?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = { |?|,? = ? 0, ? ≠ ? 或?1??1? + ?2??2? 阶方阵，??(? = 1,2 ⋯ , ?)是?的?个特征值，则 |?| = ∏ ?? ? ?=1 机器学习的数学基础 10 矩阵 矩阵：? × ?个数???排成?行?列的表格 [ ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ???] 称为矩阵，简记为?， 或者(???)?×? 。若? = ?; ⇔ |?| ≠ 0; ⇔ ?(?) = ?; ⇔ ?可以表示为初等矩阵的乘积；⇔ ?无零特征值； ⇔ Ax = 0 只有零解。 7.有关矩阵秩的结论 (1) 秩?(?)=行秩=列秩； (2) ?(??×?) ≤ min(?, ?); (3) ? ≠ 0 ⇒ ?(?) ≥ 1； (4) ?(? ± ?) ≤ ?(?) + ?(?); (5) 初等变换不改变矩阵的秩

机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 行列式的某一行（列）的所有的元素都乘以 同一数?，等于用数?乘此行列式。 ⚫ ? ∈ ℝ?×?, det(?) = det(?T). ⚫ ?, ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 39 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 = 2(?? − ?)?T d?T?? d? = 2??（如果?为对称阵） ?为? × ?的矩阵，?为? × 1的列向量 41 线性代数 正交 给定?, ? ∈ ℝ?×1，如果 ?T? = 0, 那么向量?, ?正交。 对于方阵? ∈ ℝ?×? 来说，如果?的列向量两两正交，且ℓ2范数为1 ，那么?为正交阵，数学描述为?T? = ? = ??T。 正定性 对于 ? ∈ ℝ?×

深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 行列式的某一行（列）的所有的元素都乘以 同一数?，等于用数?乘此行列式。 ⚫ ? ∈ ℝ?×?, det(?) = det(?T). ⚫ ?, ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 40 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 = 2(?? − ?)?T d?T?? d? = 2??（如果?为对称阵） ?为? × ?的矩阵，?为? × 1的列向量 42 线性代数 正交 给定?, ? ∈ ℝ?×1，如果 ?T? = 0, 那么向量?, ?正交。 对于方阵? ∈ ℝ?×? 来说，如果?的列向量两两正交，且ℓ2范数为1 ，那么?为正交阵，数学描述为?T? = ? = ??T。 正定性 对于 ? ∈ ℝ?×

. . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . TensorFlow 后端和 Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 gpus=8) parallel_model.compile(loss='categorical_crossentropy', optimizer='rmsprop') # 这个 `fit` 调用将分布在 8 个 GPU 上。 # 由于 batch size 为 256，每个 GPU 将处理 32 个样本。 parallel_model.fit(x, y, epochs=20, batch_size=256)

9 1.1 认识 NumPy 数组对象 >import numpy as np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 数组元素的个数，输出结果12，表示总共有12个元素 data.dtype # 数组元素的类型，输出结果dtype('int64'),表示元素类型都是 int64 >data.shape # 数组的维度，输出结果(3,4),表示3行4列 >data.ndim # 数组维度的个数，输出结果2，表示二维数组 (3, 4) 12 dtype('int32') 12 1.2 创建 NumPy 数组 >import numpy as 除了前面介绍的ufunc()函数之外，NumPy还提供了大量对于数组运算的 函数。它们能够简化逻辑，提高运算速度。 我们首先看随机数。NumPy产生随机数的模块在random里面，其中有 大量的分布。 > from numpy import random as nr > np.set_printoptions(precision=2) #显示小数点后两位数 > r1 = nr.rand(4

是开放源代码的机器学习框架，目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 之后的 Pytorch。由于 Pytorch 吸 取了之前一些深度学习框架优点，开发难度大大降低、很容易 构建各种深度学习模型并实现分布式的训练，因此一发布就引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch OpenVINO 开发实战系列教程 第一篇 7 运行结果： tensor([[0., 0., 0., 0.], [0., 0., 0., 0.]]) 初始化了一个两行四列值全部为零的数组。torch.zeros 表示 初始化全部为零，torch.ones 表示初始化全部为 1，torch. ones 的代码演示如下： d = torch.ones([2, 4],

找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。 •简而言之，EDA的目标是确定我们的数据可以告诉我们什么！ 探索性数据分析(EDA) 11 探索性数据分析(EDA) 单变量图显示此变量的分布 plt.hist()可以显示单变量图，也叫 直方图 12 探索性数据分析(EDA) boxplot ：箱型图又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情 况资料的统计图。它 还显示单个变量的分布，可以认为是平滑的直方图。 如 果我们通过为分类变量密度曲线着色，这将向我们展示 分布如何基于类别变化的。 15 探索性数据分析(EDA) 这幅图我们可以看到建筑类型对 Energy Star Score有重大影 响。 办公楼往往有较高的分数， 而酒店的分数较低。 16 探索性数据分析(EDA) 现在我们有了正确的列数据类型，我们可以通过查看每列中缺失值的 百分比来开始分析。

(残差平方和) 最小，即最小化： ?? ? ?? 将向量表达形式转为矩阵表达形式，则有?(?) = 1 2 ?? − ? 2 ，其中?为?行? + 1 列的矩阵（?为样本个数，?为特征个数），?为? + 1行1列的矩阵(包含了?0)，? 为?行1列的矩阵，则?(?) = 1 2 ?? − ? 2= 1 2 ?? − ? T ?? − ? 需要用到向量平方的性质: ? = ? 1 ? 2 ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致，会将特征数 据进行伸缩变化，所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性，经过标准化变换之后的特 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 21 数据归一化/标准化 需要做数据归一化/标准化 线性模型，如