主要输入将是新闻标题本身，即一系列词语，但是为了增添趣味，我们的模型还添加了其他的 辅助输入来接收额外的数据，例如新闻标题的发布的时间等。该模型也将通过两个损失函数进 行监督学习。较早地在模型中使用主损失函数，是深度学习模型的一个良好正则方法。 模型结构如下图所示： 让我们用函数式 API 来实现它。 主要输入接收新闻标题本身，即一个整数序列（每个整数编码一个词）。这些整数在 1 到 10 input_length=100)(main_input) # LSTM 层把向量序列转换成单个向量，它包含整个序列的上下文信息 lstm_out = LSTM(32)(x) 在这里，我们插入辅助损失，使得即使在模型主损失很高的情况下，LSTM 层和 Embedding 层都能被平稳地训练。 快速开始 19 auxiliary_output = Dense(1, activation='sigmoid', n • max_queue_size: 生成器队列的最大尺寸。 • workers: 使用的最大进程数量。 • use_multiprocessing: 如果 True，则使用基于进程的多线程。请注意，因为此实现依赖于多 进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。 • shuffle: 是否在每轮迭代之前打乱 batch 的顺序。只能与 Sequence (keras

地告 诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努 力，但仍然缺乏对各种技术的正式解释，这既是因为描述这些模型的数学可能非常困难，也是因为对这些主 题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 聚类（clustering）问题：没有标签的情况下，我们是否能给数据分类呢？比如，给定一组照片，我们 能把它们分成风景照片、狗、婴儿、猫和山峰的照片吗？同样，给定一组用户的网页浏览记录，我们能 否将具有相似行为的用户聚类呢？ • 主成分分析（principal component analysis）问题：我们能否找到少量的参数来准确地捕捉数据的线 性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发 粒子物理学和天文学最近取得的一些突破性进展至少部分归功于机器学习。因此，机器学习正在成为工程师 和科学家必备的工具。 关于人工智能的非技术性文章中，经常提到人工智能奇点的问题：机器学习系统会变得有知觉，并独立于主 人来决定那些直接影响人类生计的事情。在某种程度上，人工智能已经直接影响到人类的生计：信誉度的自 动评估，车辆的自动驾驶，保释决定的自动准予等等。甚至，我们可以让Alexa打开咖啡机。 幸运的是

训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 • 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标：� TensorFlow on Yarn设计 • 支持GPU亲和性调度（提⾼通信效率）� • Web的⽅式查看作业的运⾏状况和作业日志� •

2022年02月 机器学习-降维 黄海广 副教授 2 本章目录 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 3 1.降维概述 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 4 1.降维概述 维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题 中，随着维数的增加，计算量呈指数倍增长的一种现象。 通过处理多重共线性消除冗余特征。 降维的缺点： • 由于降维可能会丢失一些数据； • 在主成分分析(PCA)降维技术中，有时需要考虑多少主成分是难以确定的，往往使用经验 法则 12 1.降维概述 13 2.SVD(奇异值分解) 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 14 2.SVD(奇异值分解) 奇异值分解 (Singular Value 符号定义 ? = ???T = ?1?1?1 T + ⋯ + ??????T 其中?是一个? × ?的矩阵，每个特征向量??叫做? 的左奇异向量。 ?是一个? × ?的矩阵，除了主对角线上的元素以外全为 0，主对角线上的每 个元素都称为奇异值 ?。 ?是一个? × ?的矩阵，每个特征向量??叫做 ? 的右奇异向量。 ?为矩阵?的秩(rank)。 ? 和 ?都是酉矩阵，即满足:?T? =

模块包含了一系列无监督降维算法 from sklearn.decomposition import PCA 导入PCA库，设置主成分数量为3，n_components代表主成分数量 pca = PCA(n_components=3) 训练模型 pca.fit(X) 投影后各个特征维度的方差比例(这里是三个主成分) print(pca.explained_variance_ratio_) 投影后的特征维度的方差

吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.PCA(Principal Component Analysis，主成分分析) PCA 是降维最经典的方法，它旨在是找到数据中的主成分，并利 用这些主成分来表征原始数据，从而达到降维的目的。 PCA 的思想是通过坐标轴转换，寻找数据分布的最优子空间。 对 样本 数据进 行中心化处理 求样本协方差 矩阵

特征深度化：特征embedding • 模型深度化：深度学习模型， Wide&Deep；DeepFM 4 深度学习 物料粗排 特征向量化 基于Item2vec的 博主召回和微博 召回 物料精排 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM 模型召回：DIN/DIEN/TDM 模型召回 融入用户近期互动行

内建了常用神经网络运算函 数、常用网络层、网络训练、模型保存与加载、模型部署等一系列深度学习系统的便捷功 能。常用网络层主要放置在 nn 子模块中，优化器主要放置在 optim 子模块中，模型部署主 要通过 ONNX 协议实现。使用 PyTorch 开发，可以方便地利用这些功能完成常用算法业务 流程，高效稳定灵活。 1.6 开发环境安装 在领略完深度学习框架所带来的便利后，现在来着手在本地计算机环境上安装 print(f"iteration:{step}, loss:{loss}, w:{w}, b:{b}") return [b, w] # 返回最后一次的 w,b 主训练函数实现如下： 预览版202112 2.4 线性回归 9 def main(): # 加载训练集数据，这些数据是通过真实模型添加观测误差采样得到的 lr normed_test_data = np.load('normed_test_data.npy') test_labels = np.load('test_labels.npy') 在完成主网络模型类的创建后，我们来实例化网络对象和创建优化器，代码如下： model = MyNetwork() # 创建网络类实例 # 打印网络结构 print(model) PyTorch

4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 热性能差 不够智能 的空调控 制系统 空调缺乏对整个环境 的全面感知 空调对温度的控制 存在延迟 多 维 感 知 温 度 预

特征越好，模型越简单；特征越好 ，性能越出色；好特征即使使用一般的模型，也能得到很好的 效果！ 3.特征工程 21 特征选择 主要方法 去除变化小的特征 去除共线特征 去除重复特征 主成分分析（PCA） …… 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更 强，减少过拟合 2.增强对特征和特征值之间的理解 3.特征工程 22 数据划分 训练集 测试集