时间序列表示 主讲人：龙良曲 Spatial Signals Temporal Signals? Sequence http://slazebni.cs.illinois.edu/spring17/lec02_rnn.pdf Sequence representation ▪ [seq_len, feature_len] [100, 1] [28, 28] [words, word_vec]

快速开始 8 3 快速开始 3.1 Sequential 顺序模型指引 3.1.1 开始使用 Keras 顺序 (Sequential) 模型 顺序模型是多个网络层的线性堆叠。 你可以通过将层的列表传递给 Sequential 的构造函数，来创建一个 Sequential 模型： from keras.models import Sequential from keras.layers import loss_weights 或 loss，可以使用列表或字典。在这里，我们给 loss 参数传递单个损失函数，这 个损失将用于所有的输出。 model.compile(optimizer='rmsprop', loss='binary_crossentropy', loss_weights=[1., 0.2]) 我们可以通过传递输入数组和目标数组的列表来训练模型： model.fit([headline_data epoch 混洗。 验证集永远不会混洗。 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ model.fit 方法返回一个 History 回调，它具有包含连续误差的列表和其他度量的 history 属性。 hist = model.fit(x, y, validation_split=0.2) print(hist.history) 快速开始 33 3.3

10.12 深度残差网络 10.13 DenseNet 10.14 CIFAR10 与 ResNet18 实战 10.15 参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 命令即可查看 Python 环境已安装的库，如果是新安装的 Python 环境，则列出的 库都是 Anaconda 自带的软件库，如图 1.24 所示。如果 conda list 能够正常弹出一系列的库 列表信息，说明 Anaconda 软件安装成功；如果 conda 命令不能被识别，则说明安装失败， 需要重新安装。 图 1.24 Anaconda 安装结果测试 1.6.2 CUDA 系统，exe(local)本地安装包，再选择 Download 即可下载 CUDA 安装软件。下载完成后，打开安装软件。如图 1.23 所示，选择“Custom”选项， 点击 NEXT 按钮进入图 1.26 安装程序选择列表，在这里选择需要安装和取消不需要安装 的程序组件。在 CUDA 节点下，取消”Visual Studio Integration”一项；在“Driver 预览版202112 1.6 开发环境安装

的属性组成。机器学习模型会根据这些属性进行预测。在上面的监督学习问题中，要预测的是一个特殊的属 性，它被称为标签（label，或目标（target））。 当处理图像数据时，每一张单独的照片即为一个样本，它的特征由每个像素数值的有序列表表示。比如， 200 × 200彩色照片由200 × 200 × 3 = 120000个数值组成，其中的“3”对应于每个空间位置的红、绿、蓝通 道的强度。再比如，对于一组医疗数据，给定一组标准的 在零售产品、音乐和新闻推荐等等。 在某些应用中，客户会提供明确反馈，表达他们对特定产品的喜爱程度。例如，亚马逊上的产品评级和评论。 在其他一些情况下，客户会提供隐性反馈。例如，某用户跳过播放列表中的某些歌曲，这可能说明这些歌曲 对此用户不大合适。总的来说，推荐系统会为“给定用户和物品”的匹配性打分，这个“分数”可能是估计 的评级或购买的概率。由此，对于任何给定的用户，推荐系统都可以检索得分最高的对象集，然后将其推荐 实现了部分自主。让完全自主如此具有挑战性的是，正确的驾驶需要感知、推理和将规则纳入系统的能 力。目前，深度学习主要应用于这些问题的计算机视觉方面。其余部分则由工程师进行大量调整。 同样，上面的列表仅仅触及了机器学习对实际应用的影响之处的皮毛。例如，机器人学、物流、计算生物学、 粒子物理学和天文学最近取得的一些突破性进展至少部分归功于机器学习。因此，机器学习正在成为工程师 和科学家必备的工具。

的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 里面的元素的值不能修改，只能读取。元组的符号是( ) ⚫集合(set) 集合主要有两 是：set( )，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的 ⚫字典(dict) 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 56 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 57 Python函数

的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 里面的元素的值不能修改，只能读取。元组的符号是( ) ⚫集合(set) 集合主要有两 是：set( )，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的 ⚫字典(dict) 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 57 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 58 Python函数

Livermore， NASA 用其处理一些本来使用 C++，Fortran 或 Matlab 等所做的任务。 NumPy是什么？ 6 标准的Python中用list（列表）保存值，可以当做数组使用，但因为列表 中的元素可以是任何对象，所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象： ndarray：全称（n-dimensional array ------ [101, 4, -10, 6] [ 0, 1, 100, 101, 4, -10, 6, 7, 8, 9] 如果想改变这种情况，我们可以用列表对数组元素切片。 > b = a[[3, 3, -3, 8]] > b array([3, 3, 7, 8]) > b[2] = 100 b 24], [54, 55]] [40, 42, 44]] #上面方法对于数组的切片都 是共享原数组的储存空间的。 21 多维数组 如果我们想创立原数组的副本，我们可以用整数元组，列表，整数数组， 布尔数组进行切片。 22 结构数组 C语言中可以通过struct关键字定义结构类型。NumPy中也有类似的结构数组。 > persontype = np.dtype({ 'names':['name'

每个单词都被嵌入为512维的向量，词嵌入过程只发生在最底层的编码器中。所 有的编码器都有一个相同的特点，即它们接收一个向量列表，列表中的每个向量 大小为512维。在底层（最开始）编码器中它就是词向量，但是在其他编码器中 ，它就是下一层编码器的输出（也是一个向量列表）。 向量列表大小是我们可以设置的超参数:一般是我们训练集中最长句子的长度。 20 2.Transformer的工作流程 将输入 Transformer的工作流程 输入序列的每个单词都经过自编码过程。然后，它们各自通过前向传播 神经网络：完全相同的网络，而每个向量都分别通过它。 编码过程 一个编码器接收向量列表作为输 入，接着将向量列表中的向量传 递到自注意力层进行处理，然后 传递到前馈神经网络层中，将输 出结果传递到下一个编码器中。 22 2.Transformer的工作流程 从宏观视角看自注意力机制

的元素给出。 到目前为止，我们一直在右侧乘以列向量，但也可以在左侧乘以行向量。 这是写的， 表示 ， ， 。 和以前一样，我们可以用两种可行的方式表达 ，这取决于我们是 否根据行或列表达 . 第一种情况，我们把 用列表示： 这表明 的第 个元素等于 和 的第 列的内积。 最后，根据行表示 ，我们得到了向量-矩阵乘积的最终表示: 所以我们看到 是 的行的线性组合，其中线性组合的系数由 的元素给出。 ， ，所以它们可以计算内积。 我们用通常用行表示 而用列表示 。 或者，我们可以用列表 示 ，用行表示 ，这时 是求外积的和。公式如下： 换句话说， 等于所有的 的第 列和 第 行的外积的和。因此，在这种情况下， 和 ， 外积 的维度是 ，与 的维度一致。 其次，我们还可以将矩阵 - 矩阵乘法视为一组矩阵向量积。如果我们把 用列表示，我们可以将 的列 视为 和 的列的矩阵向量积。公式如下：

from_pretrained(model_path, device_map="auto",␣ �→safetensors=True) 接下来，您需要准备数据以进行校准。您需要做的就是将样本放入一个列表中，其中每个样本都是一段文 本。由于我们直接使用微调数据来进行校准，所以我们首先使用 ChatML 模板对其进行格式化。例如： data = [] for msg in messages: msg model_path, quantize_config, max_memory={i:"20GB" for i in range(4)} ) 接下来，你需要准备数据进行校准。你需要做的是将样本放入一个列表中，其中每个样本都是一段文本。由 于我们直接使用微调数据进行校准，所以我们首先使用 ChatML 模板对它进行格式化处理。例如： import torch data = [] for msg in put_ids, attention_mask=input_ids.ne(tokenizer.pad_ �→token_id))) 接下来，你需要准备数据以进行校准。你需要做的就是将样本放入一个列表中，其中每个样本都是文本。由 于我们直接使用微调数据来进行校准，所以我们首先使用 ChatML 模板来格式化它。例如： [ {"role": "system", "content": "You are