注意力机制解决了困扰统计学一个多世纪的问题：如何在不增加可学习参数的情况下增加系统的记忆 和复杂性。研究人员通过使用只能被视为可学习的指针结构 (Bahdanau et al., 2014) 找到了一个优雅的 解决方案。不需要记住整个文本序列（例如用于固定维度表示中的机器翻译），所有需要存储的都是指 向翻译过程的中间状态的指针。这大大提高了长序列的准确性，因为模型在开始生成新序列之前不再 需要记住整个序列。 • 多阶段设计。例如，存储器网络 在我们掷骰子的随机实验中，我们引入了随机变量（random variable）的概念。随机变量几乎可以是任 何数量，并且它可以在随机实验的一组可能性中取一个值。考虑一个随机变量X，其值在掷骰子的样本空 间S = {1, 2, 3, 4, 5, 6}中。我们可以将事件“看到一个5”表示为{X = 5}或X = 5，其概率表示为P({X = 5})或P(X = 5)。通过P(X = a)，我们区分 宽度q。那么对于卷积层，我们在每个输出通道的m · p · q个元素上同时执行每个批量规范化。因此，在计算 平均值和方差时，我们会收集所有空间位置的值，然后在给定通道内应用相同的均值和方差，以便在每个空 间位置对值进行规范化。 预测过程中的批量规范化 正如我们前面提到的，批量规范化在训练模式和预测模式下的行为通常不同。首先，将训练好的模型用于预 测时，我们不再需要样本均值中的噪声以及在微批次

繁1项集。k=1，频繁0项集为空集。 2）挖掘频繁k项集 a) 扫描数据计算候选频繁k项集的支持度 b) 去除候选频繁k项集中支持度低于阈值的数据集,得到频繁k项集。如果得到的频繁k项集 为空，则直接返回频繁k-1项集的集合作为算法结果，算法结束。如果得到的频繁k项集 只有一项，则直接返回频繁k项集的集合作为算法结果，算法结束。 c) 基于频繁k项集，连接生成候选频繁k+1项集。 3） 支持度阈值=50%=>0.5*6=3=>最小子项目数量=3 33 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 Null ① 创建树的根。根由null表示。 34 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 2. T1:I1、I2、I3的第一次扫描包含三个项目{I1:1}、 {I2:1}、{I3:1}，其中I2作为子级链接到根，I1链接到I2 找出其中的项集。计数 最大的项集在顶部，计数较低的下一个项集，以此类推。这意味着树的 分支是由事务项集按计数降序构造的。 35 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 2. T1:I1、I2、I3的第一次扫描包含三个项目{I1:1}、 {I2:1}、{I3:1}，其中I2作为子级链接到根，I1链接到I2 ，I3链接到I1。 3.T2:包含I2

4))#创建全一数组 array([[1., 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]]) >np.empty((5, 2))# 创建全空数组，其实每个值都是接近于零的数 array([[ 6.95312756e-310, 2.12199579e-314], [ 2.12199579e-314, 4.94065646e-324] 1. , 3.16227766, 10., 31.6227766 , 100.]) 16 ndarray的创建 np.empty((2,3), np.int) 创建2*3的整形型空矩阵，只分配内存 np.zeros(4, np.int) 创建长度为4，值为全部为0的矩阵 np.full(4, np.pi) 创建长度为4，值为全部为pi的矩阵 > def func(i):

背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 热性能差 不够智能 的空调控 制系统 空调缺乏对整个环境 的全面感知 空调对温度的控制 存在延迟 多 维 感 知 温 度 预 测 控 制 2. 研究目标

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探

2164, -3.2164]]) 其中?和?张量均是矩阵，上述代码实现了一个线性变换的网络层，激活函数为空。一般 地，?(?@? + ?)网络层称为全连接层(Fully Connected Layer)，在 PyTorch 中可以通过 Linear 类直接实现，特别地，当激活函数?为空时，全连接层也称为线性层。比如，通过 Linear 类创建输入 4 个节点，输出 3 个节点的网络层，并通过全连接层的 1]的张量?，需要扩展为 shape：[?, ℎ, , ?]，如图 4.7 所示，第一行 为欲扩展的 shape，第二行是现有 shape： ? ℎ ? 1 长度为1，默认数据相同 空维度，默认存在此 维度且数据相同 图 4.7 Broadcasting 实例 首先将 2 个张量的 shape 靠右对齐，对于通道维度?，张量的现长度为 1，则默认此数据同 样适合当前维度的其他位置，从而可将数据在逻辑上复制 容器也可以通过 add()方法继续追加新的网络层，实现动态创建网络的功能： In [2]: layers_num = 2 # 堆叠 2 次 network = Sequential([]) # 先创建空的网络容器 for _ in range(layers_num): network.add(layers.Dense(3)) # 添加全连接层 network.add(layers

tensor(1))等价） 23 2. Autograd自动求导 grad属性 backward函数本身没有返回值，它计算出来的梯度存放在叶子节点的grad属性中。 PyTorch文档中提到，如果grad属性不为空，新计算出来的梯度值会直接加到旧值 上面。 为什么不直接覆盖旧的结果呢？ 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理 方式使得backward不需要考

2018-1-1 2018-4-1 2018-7-1 49 升采样 遇到这种情况，常用的解决办法就是插值， 具体有如下几种方式： • 通过ffill(limit)或bfill(limit)方法，取空值前面 或后面的值填充，limit可以限制填充的个数。 • 通过fillna(‘ffill’)或fillna(‘bfill’)进行填 充，传入ffill则表示用NaN前面的值填充，传入 bfill则表示用后面的值填充。

点击【Create】按钮完成项目创建，选择文件 (File)-> 设置 (Setting) 选项： 图 1-7（设置选项） 图 1-8（设置系统 Python 解释器） 完成之后，在项目中创建一个空的 python 文件命名为 main. py，然后直接输入下面两行测试代码： import torch print(torch.__version__) 执行测试（作者笔记本）： 1.9.0+cu102

相关的特征向量时，我们通常假设特征向量被标准化为长度 为1（这仍然会造成一些歧义，因为 和 都是特征向量，但我们必须接受这一点）。 我们可以重写上面的等式来说明 是 的特征值和特征向量的组合： 但是 只有当 有一个非空零空间时，同时 是奇异的， 才具有非零解， 即： 现在，我们可以使用行列式的先前定义将表达式 扩展为 中的（非常大的）多项式，其中， 的度为 。它通常被称为矩阵 的特征多项式。 然后我们找到这个特征多项式的