Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2 常用 Sequential 属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 目录 III 4.2.3 Sequential 模型方法 . Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的 GPU 集群上训练。 • Keras 可以在 Spark（通过 CERN 的 Dist-Keras）和 Elephas 上运行。

2019,36(01) 项目 特征提取 特征选择 共同点 都从原始特征中找出最有效的特征 都能帮助减少特征的维度、数据冗余 区别 ➢ 强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性 特征提取VS特征选择 1. 相关概念 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 特征构建：是指从原始数 据中人工的找出一些具有 物理意义的特征。 方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，使 用preproccessing库的Binarizer类对数据进行二值化的代码如下：

5 节省内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1.6 转换为其他Python对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2 数据预处理 . . . . 2.2 处理缺失值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . 692 14.9.1 为预训练任务定义辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693 14.9.2 将文本转换为预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 14.10 预训练BERT . . . . .

*_like  如torch.rand_like()  创建与其他张量具有相似类型但大小不同的张量，请使 用tensor.new_*创建操作。 1.Tensors张量的概念 6  查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1.dtype # torch 查看Tensor是否存储在GPU上  tensor1.is_cuda  查看Tensor的梯度  tensor1.grad 1.Tensors张量的概念 7  Tensor在CPU和GPU之间转换，以及numpy之间的转换  CPU tensor转GPU tensor  cpu_tensor.cuda()  GPU tensor 转CPU tensor  gpu_tensor.cpu() cat 线性代数 np.dot torch.mm 属性 x.ndim x.dim() x.size x.nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous().view()); x.view x.flatten x.view(-1)；nn Flatten() 类型转换 np.floor(x) torch.floor(x);

得到模型的输出 y = 1.477 * x + 0.089 + eps data.append([x, y]) # 保存样本点 data = np.array(data) # 转换为 2D Numpy 数组 通过 for 循环进行 100 次采样，每次从均匀分布?(−1 ,1 )中随机采样一个数据?，同时从 均值为 0，方差为 .12的高斯分布?( , .12)中随机采样噪声 都可以非常方便地通过数行代码自动下载、管理和加载 MNIST 数据集，不需要开发者额 外编写代码，使用起来非常方便。这里利用 PyTorch 附带的 torchvision 库自动在线下载 MNIST 数据集，并转换为 PyTorch 的数据对象 DataLoader 格式。代码如下： import torch # 导入 pytorch from torch import nn # 导入 pytorch transform=torchvision.transforms.Compose([ # 转换为张量 torchvision.transforms.ToTensor(),

xt矩 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 在考虑以上局限性的前提下，GPT论文中证明，通过对未标记文本的不同语料库进行语言模型的生成性预训练，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输， 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规

自动微分。 1.4 Pytorch 基础操作 前面我们已经安装并验证好了 Pytorch 框架，解释了深度学习 框架中一些常见术语与基本概念。本节重点介绍 Pytorch 中一 些基本的数据定义与类型转换、算子操作、通过它们帮助读者 进一步了解 Pytorch 开发基础知识，为后续章节学习打下良好 基础。在正式开始这些基础操作之前，我们首先需要有一个合 适的集成开发环境 (IDE)，本书的源代码是基于 torch.FloatTensor 的别名，所以默认的 数据类型是 flaot32，这点从 a.dtype 的打印结果上也得了印 证。此外 torch.Tensor 函数还支持从 Numpy 数组直接转换 为张量数据，这种定义声明张量数据的代码如下： b = torch.tensor(np.array([[1,2],[3,4],[5,6],[7, 8]])) print(b) 运行结果： tensor([[1 [3, 4], [5, 6], [7, 8]], dtype=torch.int32) 根据数据类型的自动识别，转换为 torch.int32 的数据类型。 除了直接声明常量数组的方式，Pytorch 框架还支持类似 Matlab 方式的数组初始化方式，可以定义数组的维度，然后 初始化为零，相关的演示代码如下：

6大方向设计了90维特征  静态特征：69维  时序特征：21维  一套房源能否成交同很多因素相关 客源 17维 性价比 9维 业主 14维 市场 12维 经纪人 9维 基本属性 29维 成交 2019 KE.COM ALL COPYRIGHTS RESERVED 18 时序特征提取 0 5 10 15 20 25 30 20181001 20181002 特征建设 2019 KE.COM ALL COPYRIGHTS RESERVED 27 v2.0+：持续优化 0.5%  业主诚意 0.5%  区域竞争力 特征维度 现状分析 房源基本属性 可以完善补充 客户 可以挖掘 市场 可以挖掘 业主 体现不完善 经纪人  考虑完整 性价比  考虑完整 1%  经纬度 1.5%  潜在热度 2019 KE.COM ALL AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换 - 为了便于经纪人理解和指导经纪人， 采用分数映射和雷达图两种方式 2019 KE.COM ALL COPYRIGHTS RESERVED 47 2019 KE.COM ALL COPYRIGHTS

17 ndarray的属性 ndarray的元素具有相同的元素类型。常用的有int（整型），float（浮点型）， complex（复数型）。 > a = np.array([1, 2, 3, 4], dtype=float) array([ 1., 2., 3., 4.]) > a.dtype dtype('float64') ndarray的shape属性用来获得它的形状，也可以自己指定 frompyfunc(func, nin, nout) func：计算函数 nin：func()输入参数的个数 nout：func()输出参数的个数 因为最后输出的元素类型是object，所以我们还需要把它转换 成整型。 y.astype(np.int) 29 广播(broadcasting) 使用ufunc对两个数组进行运算时，ufunc函数会对两个数组的对应元素进 行运算。如果数组的形状不相同，就会进行下广播处理。

机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 时间对这里提出的观点进行直观的理解是非常必要 的。 除此之外，了解一些更高级别的矩阵乘法的基本属性是很有必要的： 矩阵乘法结合律: 矩阵乘法分配律: 矩阵乘法通常不是可交换的; 也就是说，通常 。 （例如，假设 ， ，如果 和 不相等，矩阵乘积 甚至不存在！） 如果您不熟悉这些属性，请花点时间自己验证它们。 例如，为了检查矩阵乘法的相关性，假设 ， ， 。 注意 ，所以 。 ，所以 。 因此，所得矩阵的维度一致。 为了表明矩阵乘法是相关的，足 以检查 的第 个元素是否等于 的第 个元素。 我们可以使用矩阵乘法的定义直接 验证这一点： 3 运算和属性 在本节中，我们介绍矩阵和向量的几种运算和属性。 希望能够为您复习大量此类内容，这些笔记可以作 为这些主题的参考。 3.1 单位矩阵和对角矩阵 单位矩阵, ，它是一个方阵，对角线的元素是1，其余元素都是0：