从推荐模型的基础特点看
 袁镱 腾讯 个⼈简介 � ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练，

青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 number=10) print('run time:', cpu_time, gpu_time) 将不同大小?下的 CPU 和 GPU 环境的运算时间绘制为曲线，如图 1.21 所示。可以看 到，在矩阵?和矩阵?较小时，CPU 和 GPU 时间非常接近，并不能体现出 GPU 并行计算 的优势；在矩阵较大时，CPU 的计算时间明显上升，而 GPU 能充分发挥并行计算优势， 运算时间几乎不变。 如果换一个角度来看待这个问题，它其实可以理解为一组连续值(向量)的预测问题。 给定数据集?，算法需要从?中学习到数据的真实模型，从而预测未见过的样本的输出 值。在假定模型的类型后，学习过程就变成了搜索模型参数的问题。比如假设神经元为线 性模型，那么训练过程即为搜索线性模型的?和?参数的过程。训练完成后，利用学到的模 型，对于任意的新输入?，可以使用学习模型输出值作为真实值的近似。从这个角度来 看，它是一个连续值的预测问题。

元化。比如，模型族的另一个模型只在听到“Hey Siri”这 个词时发出“是”。理想情况下，同一个模型族应该适合于“Alexa”识别和“Hey Siri”识别，因为从直觉上 18 1. 引言 看，它们似乎是相似的任务。然而，如果我们想处理完全不同的输入或输出，比如：从图像映射到字幕，或 从英语映射到中文，可能需要一个完全不同的模型族。 但如果模型所有的按钮（模型参数）都被随机设置，就不太可能识别出“Alexa”“Hey 4, 5, 6} 称为样本空间（sample space）或结果空间（outcome space），其中每个元素都是结果（outcome）。事件（event）是一组给定样本空间的随机结果。例如，“看 到5”（{5}）和“看到奇数”（{1, 3, 5}）都是掷出骰子的有效事件。注意，如果一个随机实验的结果在A中，则 事件A已经发生。也就是说，如果投掷出3点，因为3 ∈ {1, 3, 5}，我们可以说，“看到奇数”的事件发生了。 apply(init_weights); 3.7.2 重新审视Softmax的实现 在前面 3.6节的例子中，我们计算了模型的输出，然后将此输出送入交叉熵损失。从数学上讲，这是一件完全 合理的事情。然而，从计算角度来看，指数可能会造成数值稳定性问题。 回想一下，softmax函数ˆyj = exp(oj) ∑ k exp(ok)，其中ˆyj是预测的概率分布。oj是未规范化的预测o的第j个元素。如 果ok

在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势 • 确定关键点 关键点包括:眼角、鼻尖、嘴角等 6 1.人脸识别概述 人脸检测常用算法(深度学习框架) • MTCNN算法 • HR • Face r-CNN • PyramidBox 2较小 如果?(?), ?(?)不是同一个人，则) = ||?(?(?)) − ?(?(?))||2 2较大 10 1.人脸识别概述 Triplet 损失 三元组损失，它代表你通常会同时看三张图片，你需要看Anchor图片 、Postive图片，还有Negative图片，我要把Anchor图片、Positive 图片和Negative图片简写成?、?、?。 11 1.人脸识别概述

backward()函 数 中 g r a d i e n t 参 数 ， 使 其 形 状 与 函 数 L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张 量 调 用 retain_graph （） 使 用 t e n s o r.grad out_features指的是输出的二维张量的大小，即输出的二维张量的形状为 [batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。 从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。 37 4. 训练一个分类器 torch

（有点像迹运算 符，我们通常省略括号）。 从代数的角度来说，我们可以写出一个关于 行列式的显式公式。 因此， 我们首先提供行列式的几何解释，然后探讨它的一些特定的代数性质。 给定一个矩阵： 考虑通过采用 行向量 的所有可能线性组合形成的点 的集合，其中线性组合的 系数都在0和1之间; 也就是说，集合 是 受到系数 的限制的线性组合， 满足 。从形式上看， 事实证明， 的行列式的绝对值是对集合 的“体积”的度量。

我们实际构建和训练模型的数据集将如下所示： 这被称为连续词袋结构，并在word2vec论文 one of the word2vec papers 中进行过描述。 18 3.Word2Vec 负采样 计算的角度来看，SkipGram非常消耗资源：尤其是我们将在 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 人 类水平，也可能夸大基础任务的实际性能。 存在的问题03： 因为人类学习大多数语言任务不需要 大型受监督的数据集，当前NLP技术 在概念上具有一定的局限性。 存在的问题01： 从实用的角度来看，每一项新任务都需 要一个标记示例的大数据集，这限制了 语言模型的适用性； 对于其中的许多任务（从纠正语法到生 成抽象概念的示例，再到评论一个短篇 故事等等），很难收集一个大型的监督

ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本 业主  缩减销售时长  市场需求恒定，优先成交好房 核心思想  选出好房 核心问题  提升带看效率  加速成交 核心价值 2019 KE.COM ALL COPYRIGHTS RESERVED 8 人工选房方法 人工选房标准 X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 11 AI选房建模  成交/带看具有周期性  周期性单位：周 2019年3月每天的成交量和带看量 作业周期性分析 时间选择：周的倍数 2019 KE.COM ALL COPYRIGHTS RESERVED 12 AI选房建模  Y：未来？天能否成交 20181009 20181010 20181011 20181012 20181013 20181014 • 均值 • 方差 • 极值 …  浏览  关注  IM聊天  电话  带看  跟进 … • 最近14天浏览量均值 • 最近7天浏览量均值 … 时序特征 21维 提取函数 8个 提取特征 168维 2019 KE.COM ALL COPYRIGHTS RESERVED

tobacco(烟草) 513 38032 4487 42519 82.88 All 2395 344854 39457 384311 160.46 RP2K 各品类数据统计 RP2K 样例数据（规格、细粒度、角度） “Hello TensorFlow” Try it！ 应⽤用：使⽤用 TensorFlow 2 训练 ResNet “Hello TensorFlow” Try it！ 应⽤用：使用ResNet识别货架商品

。当然，我们仅仅把context vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 们的大脑会把注意力放在主要的 信息上，这就是大脑的注意力机 制。 8 1.Transformer介绍 每个词的Attention计算 一个编码器接收向量列表作为输 入，接着将向量列表中的向量传 递到自注意力层进行处理，然后 传递到前馈神经网络层中，将输 出结果传递到下一个编码器中。 22 2.Transformer的工作流程 从宏观视角看自注意力机制 随着模型处理输入序列的每个单词，自注 意力会关注整个输入序列的所有单词，帮 助模型对本单词更好地进行编码。 RNN会将它已经处理过的前面的所有单词/ 向量的表示与它正在处理的当前单词/向量 当我们在编码器#5（栈中最上层编码器）中编码“it”这个单词的时，注意力机 制的部分会去关注“The Animal”，将它的表示的一部分编入“it”的编码中。 23 2.Transformer的工作流程 从微观视角看自注意力机制 计算自注意力的第一步就是从每个编码器的输入 向量（每个单词的词向量）中生成三个向量。也 就是说对于每个单词，我们创造一个查询向量 (Q)、一个键向量(K)和一个值向量(V)。这三个向