初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维  一套房源能否成交同很多因素相关 一套房源能否成交同很多因素相关 客源 17维 性价比 9维 业主 14维 市场 12维 经纪人 9维 基本属性 29维 成交 2019 KE.COM ALL COPYRIGHTS RESERVED 18 时序特征提取 0 5 10 15 20 25 30 20181001 20181002 20181003 20181004 20181005 20181006 20181007 20181008 最近14天浏览量均值 • 最近7天浏览量均值 … 时序特征 21维 提取函数 8个 提取特征 168维 2019 KE.COM ALL COPYRIGHTS RESERVED 19 v1.0 - 小结 存在的问题 新上房源与库存房源在行为特征上 差异巨大 引入新上房源，会严重干扰模型  很难兼容新上房源  时序数据特征爆炸 时序特征进行特征提取，得到的特征 数量庞大 随着迭代的进行，新加入特征边际效

遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添加的（ model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 Sequential 顺序模型如下所示： from keras.models import Sequential model = Sequential() 可以简单地使用 .add() 来堆叠模型： (如果你计划在 GPU 上运行 Keras，建议安装)。 • HDF5 和 h5py (如果你需要将 Keras 模型保存到磁盘，则需要这些)。 • graphviz 和 pydot (用于可视化工具绘制模型图)。 然后你就可以安装 Keras 本身了。有两种方法安装 Keras： • 使用 PyPI 安装 Keras (推荐)： sudo pip install keras 如果你使用 virtualenv

），因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1，其余位置都是0的向量（上 图编号2所示）。 and在词典里排第367，所以?<3>就是第367行是1 ，其余值都是0的向量（上图编号3所示）。 因为a是字典第一个单词，?<7>对应a，那么这个 向量的第一个位置为1，其余位置都是0的向量（上 图编号4所示）。 Unknow Word的伪单词，用作为标记。 如果你的词典大小是10 000的话，那么这里的每个向量都是10,000维的。 6 循环神经网络解决的问题  卷积神经网络或全连接网络的局限性  同一层节点之间无关联，从而导致获取时序规则方面功 能不足  循环神经网络可以解决时序问题  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01

为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 都是用什么来完成这系列的任务 的呢？ 5 1.Transformer介绍 和卷积，因而这些模型在质量上更优，同时更易于并 行化，并且需要的训练时间明显更少。 ◼ Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的 顺序计算） 图：Transformer模型架构 1.Transformer介绍 12 Transformer Transformer —— 大力出奇迹的起点 • 在Transformer提出之后，大模型的基础模 在每个编码器中的每个子层（自注意力、前馈网络）的周围都有一个残差连 接，并且都跟随着一个“层-归一化”步骤。 如果我们去可视化这些向量以及这个和自注意力相 关联的层-归一化操作，那么看起来就像下面这张 图描述一样： 37 2.Transformer的工作流程 归一化： 连接：基本的残差 连接方式 38 2.Transformer的工作流程 编码器通过处理输入序列开启 工作。顶端编码器的输出之后

，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 深度学习 图 1.1 人工智能、机器学习、神经网络和深度学习 1.1.2 机器学习 机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习

时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考： 什么是时间序列？ 6 时间序列的概念 时 18 2.固定频率的时间序列 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 19 创建固定频率的时间序列 Pandas中提供了一个date_range()函数，主要用 于生成一个具有固定频率的DatetimeIndex对象。 date_range(start 32 3.时间周期及计算 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 33 创建时期对象 pd.Period(2018) 创建Period类对象的方式比较简单，只需要在构造 方法中以字符串或整数的形式传入一个日期即可。 Period类表示一个标准的时间段或时期，比

������ �� �� �� �� �� ������ ������ ����� ���� ���� ������ ���� ���� ���� ���� ���� 视频结构化视图 视频的时序关联性 视频的阶段性

研究目标 对数据机房的温度进行预测 ⚫ 根据机房的历史运行数据变化预测未来 XX 分钟机房的温度值，从而实现空调的预测控制。 风机状态 服务负载 天气状况 室外温度 室外湿度 门禁状态 时序数据 温度预测 预测控制 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 对单个维度历史信息进行 预测 ⚫ 捕获简单线性关系，模型 简单 ⚫ 代表算法有AR，

前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数据，以及如何应用基于线性代数、微积分和概率基 着用一台计算机和一个代码编辑器编写代码，如 图1.1.1中所示。问题看似很难解决：麦克风每秒钟将收集大 约44000个样本，每个样本都是声波振幅的测量值。而该测量值与唤醒词难以直接关联。那又该如何编写程 序，令其输入麦克风采集到的原始音频片段,输出{是, 否}（表示该片段是否包含唤醒词）的可靠预测呢？我 们对编写这个程序毫无头绪，这就是需要机器学习的原因。 图1.1.1: 识别唤醒词 通常，即使

模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 库中的一些常见 模型库与功能函数，主要包括对象检测模块与模型库、图象数 据增强与预处理模块等。 以上并不是 pytorch 框架中全部模块与功能说明，作者这里只 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 文件安装，显示的界面如下： 图 1-1（Python3.6.5 安装界面） 注意：图 1-1 中的矩形框，必须手动选择上“add Python3.6 to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python 语言包支持以后可以通过命令行来验证测试 安装是否成功，首先通过 cmd 打开 Window 命令行窗口，然 后输入 Python，显示如下： 图 1-2（验证 1-2（验证 Python 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' 不是内部 或外部命令，也不是可运行的程序”则说明第二步中没有勾选 上“add Python3.6 to PATH”，此时请手动把 python.exe 所 在路径添加到 Windows 系统的环境变量中去之后再次执行 即可。