方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server MPI TreeModel SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: Model Zoo  跨场景+跨模态  开箱即用: 封装复杂性  白盒化, 可扩展性强 Image Generation Video Caption EasyVision: 图像视频算法库 Bert TextInput Optim izer 性能优越:  分布式存储  分布式查询 功能完备:  GSL/负采样  主流图算法  异构图 (user/item/attribute)  动态图 标准化: Standard Libraries Graph-Learn:

382 10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.2 查询、键和值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1.3 注意力的可视化 1.3. 各种机器学习问题 25 办比赛14来完成这项工作。 搜索 有时，我们不仅仅希望输出一个类别或一个实值。在信息检索领域，我们希望对一组项目进行排序。以网络 搜索为例，目标不是简单的“查询（query）‐网页（page）”分类，而是在海量搜索结果中找到用户最需要的 那部分。搜索结果的排序也十分重要，学习算法需要输出有序的元素子集。换句话说，如果要求我们输出字 母表中的前5个字母， 数，然后检索评级最高的元素。 PageRank15，谷歌搜索引擎背后最初的秘密武器就是这种评分系统的早期例子，但它的奇特之处在于它不依 赖于实际的查询。在这里，他们依靠一个简单的相关性过滤来识别一组相关条目，然后根据PageRank对包含 查询条件的结果进行排序。如今，搜索引擎使用机器学习和用户行为模型来获取网页相关性得分，很多学术 会议也致力于这一主题。 推荐系统 另一类与搜索和排名

参数更新 查询Sparse Table 查询Dense Tensor Reader Learner Worker 返回参数 Request Handler Parameter Server 查询Sparse Table 查询Dense Tensor 更新参数 � 常规训练流⽔线 样本读取 样本解析 参数拉取 参数更新 查询Sparse Table 查询Dense Tensor 数据读写需要加锁 � ⽀持多模型和模型多版本 困难 >15亿key/秒 近千台 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm � wdl .

信息上，这就是大脑的注意力机 制。 8 1.Transformer介绍 每个词的Attention计算 每个词的Q会跟整个序列中每一个K计算得分，然后基于得分再分配特征 Q: query，要去查询的 K: key，等着被查的 V: value，实际的特征信息 9 1.Transformer介绍 Attention的优点 1.参数少：相比于 CNN、RNN ，其复杂度更小，参数也更少。所以对算力的要求 23 2.Transformer的工作流程 从微观视角看自注意力机制 计算自注意力的第一步就是从每个编码器的输入 向量（每个单词的词向量）中生成三个向量。也 就是说对于每个单词，我们创造一个查询向量 (Q)、一个键向量(K)和一个值向量(V)。这三个向 量是通过词嵌入与三个权重矩阵后相乘创建的， 它们的维度是64，而词嵌入和编码器的输入/输 出向量的维度是512. 但实际上不强求维度更小， 意力（multiheaded attention）的大部分计算保 持不变。 X1与WQ权重矩阵相乘得到q1, 就是与这个单词相关 的查询向量。最终使得输入序列的每个单词的创建 一个查询向量Q、一个键向量K和一个值向量V。 24 2.Transformer的工作流程 什么是查询向量Q、键向量K和值向量V？ 计算得分 分数除以8，然后通过softmax传递结果。 将每个值向量乘以softmax分数(这是

舒鹏 目录 CONTENTS 01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 非线性模型 Data Feature Model 线上Server CTR预估 Rank Online 特征抽取 CTR预估涉及技术

用户意图识别模块 商品研究 下单购买 订单查询 售后服务 其它闲聊 …… • 用户意图识别是非常 重要的一环。针对不 同的意图， 可以采用 不同的策略回应 • 用户意图识别可以采 用深度学习建模分类 你好，我买了两台空调，想问下安装 咋收费的呀？ =》售后服务 问问你，苹果6与6S的运行内存都是1G 吗? =》商品研究 订单能不能改成货到付款？ =》订单查询 23 深度学习模型： 从会话历史数据中学习回答问题

行结果如下： >>> import torch >>> torch._ _version_ _ '1.9.0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 下如下正确安装与配置 Pytorch，第一步同样是安装 python 语言依赖包 gpu: print(x.cuda()) y = torch.tensor([1, 2, 3, 4], device="cuda:0") print("y: ", y) 以上代码查询 CUDA 支持，如果支持打印 GPU 名称并把变量 x 变成 GPU 支持数据，并打印输出。运行结果如下： GeForce GTX 1050 Ti tensor([[ 2., 3., 4

： ? = ??(?|?vocab,?) Embedding 层实现起来非常简单，构建一个 shape 为[?vocab,?]的查询表对象 table，对 预览版202112 11.1 序列表示方法 3 于任意的单词编号?，只需要查询到对应位置上的向量并返回即可： ? = table[?] Embedding 层是可训练的，它可放置在神经网络之前，完成单词到向量的转换，得到的表 1.0053, 0.9321, -0.5928]], grad_fn=) 我们可以直接查看 Embedding 层内部的查询表 table： In [1]: # 打印内部查询表张量 for name,p in net.named_parameters(): print(name, p.shape) print('table:' requires_grad=True，因此可以 通过梯度下降算法优化 weight 张量。Embedding 层的训练过程亦是查询表的建表过程，训 预览版202112 第 11 章 循环神经网络 4 练得到的词向量表能较好地表征单词的语义特征。 11.1.2 预训练的词向量 Embedding 层的查询表是随机初始化的，需要从零开始训练。实际上，我们可以使用 预训练的 Word Embedding

打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化 模型评估 模型预测 CTR预估 排序策略 权值映射 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习 Ø 线性CTR模型 • 优势：简单高效、可解释性强

What’s Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求 - 处理特殊输入，如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严