人病史的所有信息，而仅根据最近的测量结果做出预测。 这些问题是序列学习的实例，是机器学习最令人兴奋的应用之一。序列学习需要摄取输入序列或预测输出序 列，或两者兼而有之。具体来说，输入和输出都是可变长度的序列，例如机器翻译和从语音中转录文本。虽 然不可能考虑所有类型的序列转换，但以下特殊情况值得一提。 标记和解析。这涉及到用属性注释文本序列。换句话说，输入和输出的数量基本上是相同的。例如，我们可 == B.T 2.3. 线性代数 53 tensor([[True, True, True], [True, True, True], [True, True, True]]) 矩阵是有用的数据结构：它们允许我们组织具有不同模式的数据。例如，我们矩阵中的行可能对应于不同的 房屋（数据样本），而列可能对应于不同的属性。曾经使用过电子表格软件或已阅读过 2.2节的人，应该对此 很熟悉。因此， 阵中的行向量更为常见。后面的章节将讲到这点，这种约定将支持常见的深度学习实践。例如，沿着张量的 最外轴，我们可以访问或遍历小批量的数据样本。 2.3.4 张量 就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构。张量（本小节中的 “张量”指代数对象）是描述具有任意数量轴的n维数组的通用方法。例如，向量是一阶张量，矩阵是二阶张 量。张量用特殊字体的大写字母表示（例如，X、Y和Z），它们的索引机制（例如xijk和[X]1

Python 实现。Keras 没有特定格式的单独配置文件。模型定义在 Python 代码中，这 些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 状态，每个张量的尺寸为 (batch_size, units)。 • 否则，返回尺寸为 (batch_size, units) 的 2D 张量。 屏蔽覆盖 关于 KERAS 网络层 90 该层支持以可变数量的时间步长对输入数据进行屏蔽覆盖。要将屏蔽引入数据，请使用 Em- bedding 层，并将 mask_zero 参数设置为 True。 关于在 RNN 中使用状态的注意事项 你可以将 RNN embeddings_constraint: embeddings matrix 的约束函数 (详见 constraints)。 • mask_zero: 是否把 0 看作为一个应该被遮蔽的特殊的”padding” 值。这对于可变长的 循环 神经网络层 十分有用。如果设定为 True，那么接下来的所有层都必须支持 masking，否则就 会抛出异常。如果 mask_zero 为 True，作为结果，索引 0 就不能被用于词汇表中（input_dim

列，每个位置有 RGB 3 个通道的数据；张量的存储体 现在张量在内存上保存为一段连续的内存区域，它类似于向量的一维结构，无法表达高维 预览版202112 4.7 维度变换 23 数据结构。因此对于同样的存储，可以有不同的维度理解方式，比如上述张量?，可以在 不改变张量的存储的条件下，将张量?理解为 2 个样本，每个样本的特征是长度 48 的向 量，甚至还可以理解为 4 个样本，每个样本的特征是长度为 预览版202112 5.4 填充与复制 11 了方便网络的并行运算，通常需要将不同长度的数据扩张为相同长度，之前介绍了通过复 制的方式可以增加数据的长度，但是重复复制数据会破坏原有的数据结构，并且复制数据 只能以倍数方式增加，并不适合于此处。为了统一不同样本数据的长度，通常的做法是， 在需要补充长度的数据开始或结束处填充足够数量的特定数值，这些特定数值一般代表了 无效意义，例如数字 时间(Temporal)维度。 具有时间维度的信号非常常见，比如我们正在阅读的文本、说话时发出的语音信号、随着 时间变化的股市参数等。这类数据并不一定具有局部相关性，同时数据在时间维度上的长 度也是可变的，卷积神经网络并不擅长处理此类数据。 那么如何解决这一类信号的分析、识别等问题是将人工智能推向通用人工智能路上必 须解决的一项任务。本章将要介绍的循环神经网络可以较好地解决此类问题。在介绍循环

的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 54 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 63 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 64 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行 N维图像 scipy.odr 正交距离回归 scipy.optimize 优化算法 scipy.signal 信号处理 scipy.sparse 稀疏矩阵 scipy.spatial 空间数据结构和算法 scipy.special 特殊数学函数 scipy.stats 统计函数 69 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python

的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 64 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 65 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行 N维图像 scipy.odr 正交距离回归 scipy.optimize 优化算法 scipy.signal 信号处理 scipy.sparse 稀疏矩阵 scipy.spatial 空间数据结构和算法 scipy.special 特殊数学函数 scipy.stats 统计函数 70 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python

数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 CSV（comma-separated) 文件到数据框的功能。

计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算  模型召回，ANN检索  粗排模型，降低线上计算量 • 分布式Sharding  模型分片存储，支持超大规模模型

基本建模流程 9 2.Scikit-learn主要用法 ✓Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀 疏 矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy