. . . . . . . . . . . . . . . . . . . 362 9.6 编码器‐解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.6.3 合并编码器和解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 9.7.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 9.7.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . .

11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 预览版202112 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8 个节点端 子，它可以成功识别一些英文字母。一般认为 1943 年~1969 年为人工智能发展的第一次兴 盛期。 ? ? ? ? ? ? 误差

. . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG Keras 模型？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） . . . . . . . . . 28 3.3.6.2 只保存/加载模型的结构 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3 5.11.3 AlphaDropout [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 5.12 层封装器 wrappers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.12.1 TimeDistributed

易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 随机森林 8 Random Forest（随机森林）是 Bagging 的扩展变 体，它在以决策树为基学习器构建 Bagging 集成的 基础上，进一步在决策树的训练过程中引入了随机特 征选择，因此可以概括 随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征； 3. 构建决策树； 在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直 到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 后一个模型的训练永远是在前一个模型的基础上完成！ 12 Adaboost算法 算法思想 • 初始化训练样本的权值分布，每个样本具有相同权重； • 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值 它的权值 就会被降低；反之提高。用更新过的样本集去训练下一个分类器； • 将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分 类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。 13 AdaBoost算法 弱分类器1 权重提高 弱分类器3 权重提高 弱分类器2 弱分类器 组成了强 分类器 14 Adaboost算法 算法思想： 后一个模型的训练永远是在前一个模型的基础上完成

19 3.Word2Vec 负采样 并不是每次迭代都训练全部10,000个，我们只训练其中 的5个，我们要训练对应真正目标词那一个分类器，再训练 4个随机选取的负样本，这就是? = 4的情况。所以不使用 一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ?? = ? ?? 3 4 σ?=1 10,000 ? ?? 3 4 20 3.Word2Vec 训练流程 在训练过程开始之前，我们预先处理我们正在训练模型的文本。在这一步中， representation）。 对于GloVe算法，我们可以定义上下文和目标词为任意两个位置相近的单词，假 设是左右各10词的距离，那么???就是一个能够获取单词?和单词?出现位置相近时 或是彼此接近的频率的计数器。 GloVe模型做的就是进行优化，我们将他们之间的差距进行最小化处理： minimize ෍ ?=1 10,000 ෍ ?=1 10,000 ? ??? ?? ??? + ?? +

Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 模块、优化器 torch.optim 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 库中的一些常见 模型库与功能函数，主要包括对象检测模块与模型库、图象数 等关键字， 而在深度学习框架中编程模式主要是基于计算图、张量数据、 自动微分、优化器等组件构成。面向对象编程运行的结果是交 互式可视化的，而深度学习通过训练模型生成模型文件，然后 再使用模型预测，本质数据流图的方式工作。所以学习深度学 习首先必须厘清深度学习编程中计算图、张量数据、自动微分、 优化器这些基本术语概念，下面分别解释如下： ● 张量 张量是深度学习编程框架中需要理解最重要的一个概念，张量

PS Traing PS Traing Model System Predict Score Sample Data worker worker worker 3 在线机器学习-参数服务器 serving serving serving server server server server server worker worker worker PSscheduler PSserver Local HDFS Param Server System Model Serving System 3 在线机器学习-参数服务器 • 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构 D），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/

Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 from torch . u t i l s . data # 优 化 器 为 随 机 梯 度 下 降 optimizer = torch . optim .SGD( model . parameters () , l r=learning_rate ) 现在我们先构思一下训练的主体程序，该程序训练 10 轮，并且每轮会训练一次，然后测试一 次准确率。训练函数的输入是训练数据、神经网络体、损失函数计算体以及优化器；测试函数不 需要优化器： epochs (X) print ( f ” l o s s : ␣{ l o s s :>7 f }␣␣ [{ current :>5d}/{ s i z e :>5d }] ” ) 在反向传播中，首先令优化器的梯度归 0，因为梯度是默认相加的（.step 函数会把 loss.backward() 得到的梯度累加到原来的梯度值上），因此为了防止梯度不断累积，需要归 0。 我们打印输出一下 len(dataloader

包含多层感知器，海量的出餐时间训练数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通 通过调节迭代树数目、学习倍率、迭代树最大深度、L2正则化参数等进一步避免过拟合 2 获取样本数据 过滤数据 抽取基础特征 组合基础特征，构造组合特征 组合基础特征，构造组合特征 统计基础信息，构造统计特征 独热编码，构造稀疏特征 降维 决策模型 11 • 骑士体验 取餐距离、订单数量、订单组数 • 用户体验 订单剩余时间、骑士完成时间、 订单准时性 • 配送效率 等餐时间、空驶距离、空闲骑士、