11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 原理 13.3 DCGAN 实战 13.4 定义为向量( ?? ?? , ?? ??)。这里通过一个具体的函数?(?, ?) = −(cos2 ? + cos2 ?)2来观察梯度的性质，如图 2.6 所示，图中??平面的红色箭头的长度表 示梯度向量∇?的模，箭头的方向表示梯度向量∇?的方向。可以看到，箭头的方向总是指向 当前位置函数值增速最大的方向，函数曲面越陡峭，箭头的长度也就越长，梯度的模也越 预览版202112 2.2 优化方法 6 章详细介绍交叉熵损失函数，这里 仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要 迷信某种做法，理解了算法思想即可随意变通)。对于?个样本的均方误差损失函数可以表 达为： ℒ( ,?) = 1 ? ∑ ∑ (?? (?) − ?? (?)) 2 10 ?=1 ? ?=1 只需要采用梯度下降算法来优化损失函数得到?和?的最优解，然后再利用求得的模型去

结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 述的业务逻辑出发，编写出符合业务逻辑的应用程序，并不断测试直到满足用户的需求。根据业务逻辑设计 再比如，如果用“过去的招聘决策数据”来训练一个筛选简历的模型，那么机器学习模型可能会无意中捕捉 到历史残留的不公正，并将其自动化。然而，这一切都可能在不知情的情况下发生。因此，当数据不具有充 分代表性，甚至包含了一些社会偏见时，模型就很有可能有偏见。 20 1. 引言 1.2.2 模型 大多数机器学习会涉及到数据的转换。比如一个“摄取照片并预测笑脸”的系统。再比如通过摄取到的一组 传

. . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . / κραίνω (履行)，以及 ἐλέφας (象牙) / ἐλεφαίρομαι (欺骗)。 Keras 最初是作为 ONEIROS 项目（开放式神经电子智能机器人操作系统）研究工作的一部 分而开发的。 “Oneiroi 超出了我们的理解 - 谁能确定它们讲述了什么故事？并不是所有人都能找 到。那里有两扇门，就是通往短暂的 Oneiroi 的通道；一个是用号角制造的，一个是 用象牙制造的。穿过尖锐的象牙的 多分类问题 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # 二分类问题 model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) # 均方误差回归问题

传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级，以及跟踪体育 节目中品牌赞助的可见性。 农业 半自动联合收割机可以利用人工智能 和计算机视觉来分析粮食品质，并找 出农业机械穿过作物的最佳路径。另 外也可用来识别杂草和作物，有效减 由于90％的医疗数据都是基于图像的，因此医 学中的计算机视觉有很多用途。比如启用新的 医疗诊断方法，分析X射线，乳房X光检查，监 测患者等。 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast 2 (14) ? = arccot? 则：?′ = − 1 1+?2 (15) ? = ?ℎ? 则：?′ = ?ℎ?，(16) ? = ?ℎ? 则：?′ = ?ℎ? 高等数学-基本导数与微分表 36 (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ d(??) = ?d? + ?d? (3) ( ? ?)′ = ??′−??′ ?2 (?

= ??? + ??? (3) ( ? ?)′ = ??′−??′ ?2 (? ≠ 0) ?( ? ?) = ???−??? ?2 6.基本导数与微分表 (1) ? = ?（常数） 则： ?′ = 0 ?? = 0 (2) ? = ??(?为实数) 则： ?′ = ???−1 ?? = ???−1?? (3) ⋯ , ??线性相关⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2,⋯ , ??，?线性相关⇔ ?可以由?1, ?2, ⋯ , ??唯一线性表 示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示 ⇔ ?(?1, ?2, ⋯ , ??) = ?(?1,?2, ⋯ , ??, ?) 。 2.有关向量组的线性相关性 (1 线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分 量后仍线性相关。 3.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2,⋯ , ??，?线性相关⇔ ? 可以由?1, ?2, ⋯ , ??唯一线性表 示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示

的别名表示，比如“D”是“day”的别名 。 • 频率是由一个基础频率和一个乘数组成的 ，比如，“5D”表示每5天。 26 时间序列的频率、偏移量 通过一张表来列举时 间序列的基础频率。 27 时间序列的频率、偏移量 通过一张表来列举时 间序列的基础频率。 28 时间序列的频率、偏移量 每个基础频率还可以跟着一个被称为日期偏 移量的DateOffset对象。如果想要创建一个 DateOffset对象，则需要先导入pd mean() how参数不再建议使用，而是采用新的方式 “.resample(...).mean()”求平均值。 44 重采样方法（resample） 如果重采样时传入closed参数为left，则表 示采样的范围是左闭右开型的。 time_ser.resample('W-MON', closed='left').mean() 换句话说位于某范围的时间序列中，开头的时间戳 包含在内，结尾的时间戳是不包含在内的。 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 59 时序模型—ARIMA 思考： 什么是ARIMA模型？ 60 时序模型—ARIMA ARIMA的全称叫做差分整合移动平均自回归模型，又 称作整合移动平均自回归模型，是一种用于时间序列 预测的常见统计模型。 ARIMA(p,d,q) 记作： 61 时序模型—ARIMA ARIMA模型主要由AR、I与MA模型三个部分组成。

2 (14) ? = arccot? 则：?′ = − 1 1+?2 (15) ? = ?ℎ? 则：?′ = ?ℎ?，(16) ? = ?ℎ? 则：?′ = ?ℎ? 高等数学-基本导数与微分表 35 (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ d(??) = ?d? + ?d? (3) ( ? ?)′ = ??′−??′ ?2 (? (?2)?(?1|?2) ?(?1?2 ⋯ ??) = ?(?1)?(?2|?1)?(?3|?1?2) ⋯ ?(??|?1?2 ⋯ ??−1) 47 概率论与数理统计-常见分布 (1) 0-1分布:?(? = ?) = ??(1 − ?)1−?, ? = 0,1 (2) 二项分布:?(?, ?)： ?(? = ?) = ?????(1 − ?)?−?, ? = 0,1, ⋯ , ? (3) Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型 数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 63 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据，

一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 我们确定词汇量的大小（我们称之为vocab_size，比如说，将其视为10,000）以及 哪些词属于它。在训练阶段的开始，我们创建两个矩阵 - Embedding矩阵和Context 矩阵。这两个矩阵在我们的词汇表中嵌入了每个单词（这vocab_size是他们的维度 之一）。第二个维度是我们希望每次嵌入的时间长度（embedding_size- 300是一个 常见值）。 21 3.Word2Vec 训练流程 thou实际邻 居）,aaron，和taco（负样本）。我们继续查找它们的嵌入 - 对于输 入词，我们查看Embedding矩阵。对于上下文单词，我们查看Context矩 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况

)2 ? = 1 ? ෍ ?=1 ? ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对目标变 量的影响一致，会将特征数据进行伸缩变 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 (63.6, 69.4] 4 (69.4, 84.0] 4 (84.0, 99.0] 4 13 2. 特征构建 • 聚合特征构造主要通过对多个特征的分组聚合实现，这些特征通常来 自同一张表或者多张表的联立。 • 聚合特征构造使用一对多的关联来对观测值分组，然后计算统计量。 • 常见的分组统计量有中位数、算术平均数、众数、最小值、最大值、 标准差、方差和频数等。 聚合特征构造 14 量分量之和来决定的。 ➢ 最终只需要指定一个阈值 k，然后选择比 k 大的相关统计量分量 所对应的特征即可。也可以指定特征个数 m ，然后选择相关统 计量分量最大的 m 个特征。 ◆Relief 是为二分类问题设计的，其拓展变体 Relief-F 可以处理多分类 问题。 过滤式 4. 特征选择 1、 Relief 方法 30 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究

） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 都是用什么来完成这系列的任务 的呢？ 5 1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 结合起来。而自注意力机制会将所有相关单 词的理解融入到我们正在处理的单词中。 当我们在编码器#5（栈中最上层编码器）中编码“it”这个单词的时，注意力机 制的部分会去关注“The Animal”，将它的表示的一部分编入“it”的编码中。 23 2.Transformer的工作流程 从微观视角看自注意力机制 计算自注意力的第一步就是从每个编码器的输入 向量（每个单词的词向量）中生成三个向量。也 就是说对于每个单词，我们创造一个查询向量 sentence的缩写形式 输出词汇 我们模型的输出词表在我们训练之前的预处理流程中就被设定好。 42 3.Transformer的训练 一旦我们定义了我们的输出词 表，我们可以使用一个相同宽 度的向量来表示我们词汇表中 的每一个单词。这也被认为是 一个one-hot 编码。所以，我们 可以用下面这个向量来表示单 词“am”： 43 3.Transformer的训练 损失函数 比如说我们正在训练模型，