Python 语言、定位底层运算的计算库，Theano 同时支持 GPU 和 CPU 运 算。由于 Theano 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 print(n, gpu_a.device, gpu_b.device) 接下来实现 CPU 和 GPU 运算的函数，并通过 timeit.timeit()函数来测量两个函数的运 算时间。需要注意的是，第一次计算时一般需要完成额外的环境初始化工作，因此这段时 间不能计算在内。通过热身环节将这段时间去除，再测量运算时间，代码如下： def cpu_run(): # CPU 到那时我也会支持机器人的。−克劳德·香农 PyTorch 是一个面向深度学习算法的科学计算库，内部数据保存在张量(Tensor)对象 上，所有的运算操作(Operation，简称 OP)也都是基于张量对象进行的。复杂的神经网络算 法本质上就是各种张量相乘、相加等基本运算操作的组合，在深入学习深度学习算法之 前，熟练掌握 PyTorch 张量的基础操作方法十分重要。只有掌握了这些操作方法，才能随 心所欲地实现各种复杂新奇的网络

. 70 2.5.2 非标量变量的反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 learning）。在讨论深度模型 的过程中，本书也将提及一些传统方法。 1.2.3 目标函数 前面的内容将机器学习介绍为“从经验中学习”。这里所说的“学习”，是指自主提高模型完成某些任务的效 能。但是，什么才算真正的提高呢？在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多 数情况是“可优化”的，这被称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优 经过最初的快速发展，神经网络的研究从1995年左右开始停滞不前，直到2005年才稍有起色。这主要是因为 两个原因。首先，训练网络（在计算上）非常昂贵。在上个世纪末，随机存取存储器（RAM）非常强大，而计 算能力却很弱。其次，数据集相对较小。事实上，费舍尔1932年的鸢尾花卉数据集是测试算法有效性的流行 工具，而MNIST数据集的60000个手写数字的数据集被认为是巨大的。考虑到数据和计算的稀缺性，核方法

s e l f ) . __init__ () # 把 数 组 降 到1 维 s e l f . f l a t t e n = nn . Flatten () # 定 义 网 络 的 计 算 顺 序 s e l f . linear_relu_stack = nn . Sequential ( nn . Linear (28∗28 , 512) , nn .ReLU() , #使 用ReLU做 o s s : ␣{ test_loss :>8 f }␣\n” ) 测试集有 10000 个数据，with torch.no_grad() 的意义是不再构建计算图。因为 pytorch 在运 算时会首先构建计算图，用于后面的反向传播算法等操作，我们测试正确率时不需要构建计算图。 pred.argmax(1) 表示向量中最大的一个数的索引，即为我们预测的当前数据类别。然后，.sum 函 数得到一个 就需要保存和恢复模 型了。 model.state_dict() 函数可以得到模型的状态字典，里面包含了模型的参数权重与 bias 等信 息，我们可以用下面的代码来保存和恢复模型： # 保 存 模 型 torch . save ( model . state_dict () , path ) # 恢 复 模 型 model . load_state_dict ( torch . load

Keras (κέρας) 在希腊语中意为 号角。它来自古希腊和拉丁文学中的一个文学形象，首先出 现于 《奥德赛》中，梦神 (Oneiroi, singular Oneiros) 从这两类人中分离出来：那些用虚幻的景象 欺骗人类，通过象牙之门抵达地球之人，以及那些宣告未来即将到来，通过号角之门抵达之人。 它类似于文字寓意，κέρας (号角) / κραίνω (履行)，以及 ἐλέφας • 用于防止在某些操作中被零除的 epsilon 模糊因子。 • 默认浮点数据类型。 • 默认后端。详见 backend 文档。 同 样， 缓 存 的 数 据 集 文 件 （如 使 用 get_file() 下 载 的 文 件） 默 认 存 储 在 $HOME/.keras/datasets/ 中。 3.3.20 如何在 Keras 开发过程中获取可复现的结果？ 在模型的开发过程中， =None, bias_constraint=None) 深度方向的可分离 2D 卷积。 可分离的卷积的操作包括，首先执行深度方向的空间卷积（分别作用于每个输入通道），紧 接一个将所得输出通道混合在一起的逐点卷积。depth_multiplier 参数控制深度步骤中每个输 入通道生成多少个输出通道。 直观地说，可分离的卷积可以理解为一种将卷积核分解成两个较小的卷积核的方法，或者 作为 Inception

Tensors张量的概念 8  Tensor与NumPy的异同 对比项 NumPy Tensor 相同点 可以定义多维数组，进行切片、改变维度、 数学运算等 可以定义多维数组，进行切片、改变维度、数学运 算等 不同点 1、产生的数组类型为 numpy.ndarray； 2、会将ndarray放入 CPU中进行运算； 3、导入方式为import numpy as np，后续 通过np.array([1 Autograd自动求导 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 17  PyTorch 1.x的自动微分机制 构 建 计 算 图 创 建 设 置 张 量 (tensor) 设 置 t e n s o r的 requires_ g r a d 的 属 性 为 True 定 义 函 数 ( L) 使 用 函 数 的 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张 量 调 用 retain_graph （） 使 用 t e n s o r.grad.zero_() 清 除 张 量 梯 度 如 果 要 保 留 计 算 图 ， 可 通 过 设 置 b a c kw a r d（ ） 中 参 数 retain_graph=True 释 放 计 算 图 具体实例可参考书中2

训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据 attention机制进行自学 有监督微调 （Supervised fine-tunning) 微调，用来修正模型理解力。 即小规模指导过程，让AI在 小样本数据下进行调整

在不影响训练效果的情况下，降低参数准备与更新耗时，提 ⾼训练速度。训练耗时下降超50% � 异步storage线程，⽀持基于冷热数据的多级存储。内存消 耗下降30%-70% 磁盘 训练 Lookup+ pooling 算⼦融合 Unique keys Storage 近期训练 参数管理 需保持顺 序，以保证 训练效果 样本读取 样本解析 基于GPU的多级存储训练：更⾼的性价⽐ � 推荐模型GPU训练的挑战 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 � 业务需求 � 模型⼤⼩超TB � 单个请求需要15W个key � 耗时要求10ms以下 � 资讯业务请求量⼤

Analysis，独立成分分析) ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一 个线性变换 ? = ??，使得 ? 的各个特征分量之间的独立性最大。 PCA 对数据 进行降维 ICA 来从多 个维度分离 出有用数据 步骤 PCA 是 ICA 的数据预处理方法 降维 3. 特征提取 20 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1 • 保留尽可能多的特征，模型 的性能会提升 • 但同时模型就变复杂，计算 复杂度也同样提升 计算复杂度 • 剔除尽可能多的特征，模型的 性能会有所下降 • 但模型就变简单，也就降低计 算复杂度 VS 4. 特征选择 27 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 过滤式(Filter): 先对数据集进行特征选择，其过程与后续

根据权重1更新样本权重2 根据权重n-1更新样本权重n 强学 习器 相同方式更新…… 15 GBDT算法 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算 法，该算法由多棵决策树组成，GBDT 的核心在于累加所有树的结果 作为最终结果，所以 GBDT 中的树都是回归树，不是分类树，它是属 于 Boosting 策略。GBDT 是被公认的泛化能力较强的算法。 零值），如果两个特征并不完全互斥（如只有一部分情况下是不同时取非零值） ，可以用互斥率表示互斥程度。EFB算法指出如果将一些特征进行融合绑定，则 可以降低特征数量。 论文给出特征合并算法，其关键在于原始特征能从合并的特征中分离出来。 42 4.LightGBM 互斥特征捆绑算法（Exclusive Feature Bundling, EFB） 高维特征往往是稀疏的，而且特征间可能 是相互排斥的（如两个特征不同时取非零

这是一个隐藏层的神经网络，当 我们算神经网络的层数时，我们 不算输入层，我们只算隐藏层和 输出层。 左边这个网络是两层神经网络。 21 5.深层神经网络 x[2] x[3] x[1] 输入层 隐藏层 输出层 这是五个隐藏层的神经网络，隐藏层和输出层一共是六层，因此 我们称这个是六层的神经网络。 22 前向传播 第 一 层 需 要 计 算 ?ሾ1] = ?ሾ1]? + ?ሾ1]