微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • • 深度化 • 特征深度化：特征embedding • 模型深度化：深度学习模型， Wide&Deep；DeepFM 4 深度学习 物料粗排 特征向量化 基于Item2vec的 博主召回和微博 召回 物料精排 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM 模型召回：DIN/DIEN/TDM 平台架构 用户 微博 曝光/阅读 点击/互动 Feed流排序 数据样本 正样本：曝光有互动 负样本：曝光无互动 样本数据 推荐引擎 业务引擎 用户特征 女性，19-22岁，北京 爱好娱乐，明星，高 活跃…… 特征数据 数据样本 模型参数求解： 损失函数误差最小： 梯度下降等迭代求解 模型训练 WeiFlow 控制台 实时计算 实时统计，…… 特征计算 微博特征 9点发布，带视频，北

深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3 72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 •

规范的同时，网信办、文化部等国家部门 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 微信朋友圈日上传图片10亿张，视频播放20亿次 4000亿QQ空间存量图片，每天空间相册新增6亿 张上传图片 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 政治敏感人物识别， 直播， 视频等场景 Ø 上亿级别的人脸检索，秒级的检索速度从黑名 单，白名单数据库中返回目标人脸信息。 Ø 技术指标：优图人脸识别通过传统方法和深度 学习技术结合，以空间面孔墙和微众银行远程 核身为基础，在性能上达到LFW 99.80%。 Ø QQ，微云等： 非法设置领导人头像， 公众人 物， 明星等等他人肖像。 Ø 直播，游戏视频等， 非法植入领导人，政府国 际公众人物， 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 GPU核心 GPU微架构 Pascal Pascal Volta 核心代号 GP104 GP102 GV100 Tensor Cores NA NA 640 CUDA核数量 3456 3840 5120 处理器制程

是一个随机变量，表示十次投掷硬币中的正面数，那么 ， ， ， ， 。 性质： 2.3 概率密度函数 对于一些连续随机变量，累积分布函数 处可微。在这些情况下，我们将概率密度函数(PDF)定义 为累积分布函数的导数，即： 请注意，连续随机变量的概率密度函数可能并不总是存在的(即，如果它不是处处可微)。 根据微分的性质，对于很小的 ， CDF和PDF(当它们存在时！)都可用于计算不同事件的概率。但是应该强调的是，任意给定点的概率密 的边际概率质量函数。在统计学中，将一个变量相 加形成另一个变量的边缘分布的过程通常称为“边缘化”。 3.3 联合概率和边缘概率密度函数 假设 和 是两个连续的随机变量，具有联合分布函数 。在 在 和 中处处可微的情况 下，我们可以定义联合概率密度函数： 如同在一维情况下， ，而是： 请注意，概率密度函数 的值总是非负的，但它们可能大于1。尽管如此，可以肯定的是 与离散情况相似，我们定义: 作为 的边际概率密度函数(或边际密度)，对于

error），即预测值与实际值之差的平方。 当试图解决分类问题时，最常见的目标函数是最小化错误率，即预测与实际情况不符的样本比例。有些目标 函数（如平方误差）很容易被优化，有些目标（如错误率）由于不可微性或其他复杂性难以直接优化。在这 些情况下，通常会优化替代目标。 通常，损失函数是根据模型参数定义的，并取决于数据集。在一个数据集上，我们可以通过最小化总损失来 学习模型参数的最佳值。该数据集由 子， 每列对应一个相关的属性，例如房屋的面积、卧室的数量、浴室的数量以及到镇中心的步行距离，等等。每 一行的属性构成了一个房子样本的特征向量。如果一个人住在纽约或旧金山，而且他不是亚马逊、谷歌、微 软或Facebook的首席执行官，那么他家的特征向量（房屋面积，卧室数量，浴室数量，步行距离）可能类似 于：[600, 1, 1, 60]。如果一个人住在匹兹堡，这个特征向量可能更接近[3000 的发明。传统模型中，密度估计和生成模 型的统计方法侧重于找到合适的概率分布（通常是近似的）和抽样算法。因此，这些算法在很大程度上 受到统计模型固有灵活性的限制。生成式对抗性网络的关键创新是用具有可微参数的任意算法代替采 样器。然后对这些数据进行调整，使得鉴别器（实际上是一个双样本测试）不能区分假数据和真实数 据。通过使用任意算法生成数据的能力，它为各种技术打开了密度估计的大门。驰骋的斑马 (Zhu

→0+ ?(?0+??)−?(?0) ?? = lim ?→?0 + ?(?)−?(?0) ?−?0 4 高等数学 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立。即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) Th2: （取极值的必要条件）设函数?(?)在?0处可导，且在?0处取极值，则? ′(?0) = 0. 高等数学 23 Th3: （取极值的第一充分条件）设函数?(?)在?0的某一邻域内可微，且? ′(?0) = 0（或?(?)在 ?0处连续，但? ′(?0)不存在.）。 (1)若当?经过?0时，? ′(?)由“+”变“-”，则?(?0)为极大值； (2)若当?经过?0时，? ′(

我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 11 1.无监督学习方法概述 聚类案例 5.社交网络 比如在社交网络的分析上。已知你朋友的信息， 比如经常发email的联系人，或是你的微博好友、 微信的朋友圈，我们可运用聚类方法自动地给朋 友进行分组，做到让每组里的人们彼此都熟识。 12 2.K-means聚类 01 无监督学习概述 02 K-means聚类 03

?→0+ ?(?0+??)−?(?0) ?? = lim ?→?0 + ?(?)−?(?0) ?−?0 3.函数的可导性与连续性之间的关系 Th1: 函数?(?)在?0处可微⇔ ?(?)在?0处可导。 Th2:若函数在点?0处可导，则? = ?(?)在点?0处连续，反之则不成立.即函数连续不一定可 导。 Th3:?′(?0)存在⇔ ?′−(?0) = ?′+(?0) )内是单调增加的（或单调减少）。 Th2: （取极值的必要条件）设函数?(?)在?0处可导，且在?0处取极值，则? ′(?0) = 0. Th3: （取极值的第一充分条件）设函数?(?)在?0的某一邻域内可微，且? ′(?0) = 0（或 ?(?)在?0处连续，但? ′(?0)不存在.）。 (1)若当?经过?0时，? ′(?)由“+”变“-”，则?(?0)为极大值； (2)若当?经过?0时，

2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • 微博：@breezedeus • 博客：breezedeus.github.io 目录 • Chatbots简史 • 三个火枪手：三个Bot框架 • IR-Bot、Task-Bot、Chitchat-Bot

自我介绍 周玉驰  硕士毕业于中科院  先后就职于华为，百度和医渡云  目前就职于贝壳找房  主要负责两个方向  房源策略算法  房客人关系图谱 扫一扫二维码图案，加我微信 2019 KE.COM ALL COPYRIGHTS RESERVED 4 目录  为什么要做AI选房  如何做AI选房  模型演变历程  实践应用  总结&思考 2019