深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 learning to rank 互动模型 点击模型 阅读模型 Score = ?)*+,-./+ ∗ ???? + ?/6)/7 ∗ ???? + ?-,.8 ∗

分区2 写入数据 第一次溢出 排序 第二次溢出 Combiner Combiner 归并排序 归并排序 合并 Combiner为可选流程 压缩 写磁盘 分区1 分区2 分区1 排序 分区2 排序 排序 分区1 排序 分区2 排序 分区1 合并 分区2 合并 分区1 合并 分区2 合并 分区1 归并 分区2 归并 分区1 压缩 分区2 压缩 分区1 MapReduce优化（下） 分区1 输出 分区2 输出 分区1 输出 分区2 输出 分区1 输出 分区1 输出 内存缓冲 磁盘 数据 内存不够溢出到磁盘 归并 排序 分组 Reduce方法 对每个map来的 数据归并排序 按照相同key分组 Map2方法 输出数据 Map1方法 输出数据 Reduce1处理流程 拷贝 拷贝 4）mapreduce.reduce.memory

⽹关服 务降级将发挥作⽤。 2.5
⽇志审计
API7
内置了⽇志审计模块，通过集中采集信息系统中的系统安全事件、管理员操作记录、系统运⾏⽇ 志、系统运⾏状态等各类信息，经过规范化、过滤、归并等处理后，以统⼀格式的⽇志形式进⾏集中 存储和管理，结合丰富的⽇志统计汇总及关联分析功能，实现对信息系统⽇志的全⾯审计。通过事后 分析和报表系统，管理员可以⽅便⾼效地对信息系统进⾏有针对性的安全审计；当遇到特殊安全事件

单目标：LR->W&D->FM->DeepFM 多目标：点击FM+互动FM 排序损失：DeepFM+Pair-Wise Rank Loss 多目标 融合点击模型和 互动模型 单目标 LR、W&D、 FM和DeepFM 等模型排序 排序损失 针对信息流业务场景，从 点击损失升级到排序损 失，基础模型为 DeepFM，排序损失为 BPR 召 回 排 序 • 深度学习模型训练：WeiLearn LR/GBDT DNN/DeepFM/W&D 负载均衡/统一版本管理/动态加载/批量化机制 特征映射 Embedding 数据处理 异构GPU集群 CNN 业务应用 模型服务 框架 排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层 核心架构层 算法模型层 4 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/ 指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失 • User/Item Embedding 协同召回 • Item2vec相比于传统协同过滤MF等，稀疏样本下表现极好 • 同时该特征可用于排序部分特征输入 • 深度模型效果对比 • DeepFM相比于FM模型，相关指标提升4+% • Wide&Deep相比于LR模型，相关指标提升5+% • 效果提升主要来源于Deep部分高阶特征组合

级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标 MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 • 场景特点 亿级的用户，千万级的O2O商品 海量的用户行为，完整的交易闭环 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力：VC维越大模型越复杂，学习能力越强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据： 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 •

----------------- -------------------- [26, 28, 24, 18] [22, 13, 27, 18, 16] 38 大小与排序 NumPy在排序等方面常用的函数如下： > a = np.array([1, 3, 5, 7]) > b = np.array([2, 4, 6]) > np.maximum(a[None, :], b[: maxinum 二元最大值 sort 数组排序 argsort 数组排序下标 percentile 分位数 median 中位数 min,max都有axis,out,keepdims等参数，我们来看其他函数。 39 大小与排序 sort()对数组进行排序会改变数组的内容，返回一个新的数组。axis的默认 值都为-1，即按最终轴进行排序。axis=0对每列上的值进行排序。 np.sort(a)

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ FLULQP 和UuFFHUU TDVH效果最好 内容理解——多目标检测f跟踪 ����/���� A51视频智能缩略图 • 目的a通过对视频进行结构化分析，对关键帧、视频镜头进行筛选和排序， 选择最w的关键帧、关键片段来作i视频的展示 • 方法a视频智能缩略图采用关键帧提取+99>w化+美学评分等方法，选 择视频h最w关键帧作i该视频的首图。 • 效果a • r工评测 • ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � ���������������������q������R�����yd���� � ��s�ui��������o�e�s�������������

XGBoost 使用贪心方法，选增益（ ???? ）最大的分裂方式 贪心方法，众多????中找到最大值做为最优分割节点（split point），因此模型会 将所有样本按照（一阶梯度）从小到大排序，通过遍历，查看每个节点是否需要 分割，计算复杂度是：决策树叶子节点数 – 1。 XGBoost的分裂方式 35 4.LightGBM 01 集成学习方法概述 02 Adaboost和GBDT算法 输入：训练数据，迭代步数d，大梯度数据的采样率a，小梯度数据的采样率b，损失函数和若 学习器的类型（一般为决策树） 输出：训练好的强学习器 （1）根据样本点的梯度的绝对值对它们进行降序排序； （2）对排序后的结果选取前a*100%的样本生成一个大梯度样本点的子集； （3）对剩下的样本集合(1-a)*100%的样本，随机的选取b *(1-a)*100%个样本点，生成一个小 梯度样本点的集合； 02*3+0.02 0.03 bin1 bin2 bin3 bin序号 bin样本的之和 bin内所有样本的一阶导之和 bin内所有样本的二阶导之和 可能的候选点分裂点个数 等于样本取值个数减一 排序完了之后，我们就选出a * data_num个梯度大的，然后从剩下的那些样本里面选出b*data_num个梯度小的： 这里是8个样本，所以a*8=2，b*8=2，1−? ? = 3。 即先选出2

01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y 广告物料推荐 深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 & Deep … … … … … … … … … Wide Deep Embedding 背景和优势  Google于16年6月份发表相应论文  用于应用商店中推荐APP的排序  基于TensorFlow平台，可兼具业界流行模型（LR、DNN）的优点  一次训练给出两个模型，流程简洁稳定，效果更佳 若干思考 若干思考 DL的强项 输入不规整 结果确定 容易获取的海量训练数据

• 选房成本高 • 选房带有主观性 • 无法盘点所有房源质量 存在问题 人工选房流程 2019 KE.COM ALL COPYRIGHTS RESERVED 9 AI选房本质上是TopN排序问题 2019 KE.COM ALL COPYRIGHTS RESERVED 10 AI选房 - 房源质量打分   好房定义 AI选房建模 Y = f (X)  Y：未来？天能否成交 COPYRIGHTS RESERVED 40 了解分 • 分数解释：打分是怎么计算的 • 如何操作可以提升打分？ 优质房（A） 次优房（B） 一般房（C） 经纪人的疑问 质量分数 • 具有排序意义 • 很难引导经纪人 2019 KE.COM ALL COPYRIGHTS RESERVED 41 雷达图 雷达图 • 明示数据的核心打分维度 • 每个维度展示特征的优缺点 • 引导经纪人，提高分数 ALL COPYRIGHTS RESERVED 45 总结&思考 2019 KE.COM ALL COPYRIGHTS RESERVED 46 总结&思考  AI选房解决的是房地产领域的TopN排序问题  AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换