外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 骑士取餐 到达用户 完成交付 总结—外卖订单智能调度要解决的核心问题 借助机器学习与深度学习实现，骑士到店时 间、等餐时间、骑士到用户时间、交付用户 时间等配送全流程节点时间预估 动态规划最优配送路线，且合理并单，以最 低的配送成本最大化满足用户配送体验。 建立配送成本及用户体验的评估模型，并基于多 场景多维度权衡骑士和待分配订单匹配程度 依据评价模型得出的订单和骑士匹配程 度，全局最优进行整体调度分配 借助机器学习实现精准的配送时长预估，预 3 20 寻宝系统—线下优化运营优化指导 21 精细化优化商户配送范围 精细化分析商户到每 个POI用户配送成本及 收益，指导商户配送 配送范围划分 分级配送缩短交付用户时长 根据不同POI的用户 交付时长及单量，测 算增加固定骑士进行 末端分级配送用户交 付成本和直接配送成 本，选取适合耳机配 送POI 精细指导骑士人数配置 根据仿真系统及历史 大数据精细模拟在不 同单量不同骑士数量

� 推荐场景的重要性 � PCG的图⽂，视频推荐（腾讯视频，腾讯新 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 内存型服务 并发查询优化 数⼗台 ⽹络型服务 TB级模型实时上线 � 问题：TB模型实时多地传输和加载成本⾼ � ⽅案：⾼低频分别上线 � 更灵活的⽤法：模型多切⽚，按需上线 � Dssm � wdl ... 分布式Serving集群 副本1 副本2 Group 1 Group N 副本1

标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 • 参数很多 • 参数敏感 • 不同场景的数据上差异大 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  学习率: 1e-3, 1e-4 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 ✗ 海量参数 ✗ 海量数据 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 从FM到DeepFM rt 增加了10 倍怎么优化？ 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂 

Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit \� --app-name “tfdemo” \#作业名� Yarn技术细节揭秘 集成TensorFlow到Yarn面临的特定问题：� • 如何自组织ClusterSpec信息� • 训练数据的划分� • 如何启动Tensorboard服务� • 如何降低迁移成本� • 已分配的物理GPU设备号到用户态GPU设备号的映射� TensorFlow on Yarn技术细节揭秘 自动构建ClusterSpec的流程图：� TensorFlow on Yarn技术细节揭秘 训练数据的划分：� TensorFlow on Yarn技术细节揭秘 启动Tensorboard服务：� TensorFlow on Yarn技术细节揭秘 降低已有tensorflow程序迁移成本：� （1）单机模式 不需要修改代码 （2）分布式模式（最多修改三行代码） cluster = !.train.ClusterSpec(json.loads(os.

87亿 房屋 3000万 月活跃用户 • 需要强大的房源质量盘点工具 • 找到好房难度大，成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本 业主  缩减销售时长  市场需求恒定，优先成交好房 核心思想  选出好房 核心问题 提升带看效率  加速成交 核心价值 2019 KE.COM ALL COPYRIGHTS RESERVED 8 人工选房方法 人工选房标准 • 每周举行周例会 • 讨论并投票选出好房 • 选房成本高 • 选房带有主观性 • 无法盘点所有房源质量 存在问题 人工选房流程 2019 KE.COM ALL COPYRIGHTS RESERVED 9 AI选房本质上是TopN排序问题 2019 引入新上房源，会严重干扰模型  很难兼容新上房源  时序数据特征爆炸 时序特征进行特征提取，得到的特征 数量庞大 随着迭代的进行，新加入特征边际效 应递减，但是成本高 解决的问题  人工 -> 机器  解决了人工选房的问题  选房成本低  选房没有主观性  可以盘点所有房源质量 2019 KE.COM ALL COPYRIGHTS RESERVED 20 模型演变历程 v1

000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ?? = ?

般任务的同时，修改、扩展和改进自己的架构的“人工通用智能”工具。 一个更紧迫的问题是人工智能在日常生活中的应用。卡车司机和店员完成的许多琐碎的工作很可能也将是自 动化的。农业机器人可能会降低有机农业的成本，它们也将使收割作业自动化。工业革命的这一阶段可能对 社会的大部分地区产生深远的影响，因为卡车司机和店员是许多国家最常见的工作之一。此外，如果不加注 意地应用统计模型，可能会导致种族、性别或年龄 是“完全”连 接的，可能有很多可学习的参数。具体来说，对于任何具有d个输入和q个输出的全连接层，参数开销为O(dq)， 这个数字在实践中可能高得令人望而却步。幸运的是，将d个输入转换为q个输出的成本可以减少到O( dq n )，其 中超参数n可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性 (Zhang et al., 2021)。 3.4.4 softmax运算 现在我们将 泛化误差可能为零吗？ Discussions64 4.5 权重衰减 前一节我们描述了过拟合的问题，本节我们将介绍一些正则化模型的技术。我们总是可以通过去收集更多的 训练数据来缓解过拟合。但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做 到。假设我们已经拥有尽可能多的高质量数据，我们便可以将重点放在正则化技术上。 回想一下，在多项式回归的例子（4.4节）中，我们可以通

深度学习-分布式模型推理 • 深度特征效果对比 • 文本Embedding特征，相比于文本标签，相关指标提升约3+% • 基于word2vec、bert等生成embedding向量，提高了语义编码的准确性，降低了训练成本 • 指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失 • User/Item Embedding 协同召回 • Item2vec相比于传统协同过滤MF等，稀疏样本下表现极好 效果提升主要来源于Deep部分高阶特征组合 • 但同时对模型服务的性能要求更高 4 深度学习-效果 平台篇 PLATFORM 平台背景、平台架构和平台效果 12 • 平台背景-平台化 成本 效率 效果 实时 机器 人力 时间 开发 运行 迭代 规模 深度 1 平台背景 算法/模型 计算 数据/特征 存储 基础/IDE 业务 调度 集群 2 平台架构 ，高热度…… 批量计算 静态特征，批量统计 ，…… 控制中心 WeiIDE 数据计算 模型 Y=f(x1,x2……,xn) 模型服务 特征服务 微博机器学习平台 灰度系统 3 平台效果 • 成本/效率 建设平台（业务A） 业务开发 模型开发 特征工程 建设 平台 接入平台（业务B） 接入 平台 业务开发 模型开发 特征工程 3 平台效果 总结篇 SUMMARY 微博技术里程碑和业务生态

Survival Bias 特征覆盖率 并行化训练 并行化训练 诉求  加大数据量，提 升模型稳定性  加大数据量，提 升模型收益 方案  MxNet支持多机 多卡, 使用成本低  构 建 多 机 多 卡 GPU集群，优化 训练效率，提高 加速比 现状和计划 现状  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限 容易获取的海量训练数据 1 CTR预估 特征有明确含义 场景相关，以用户为导向 很难界定“Ground Truth” 训练样本“有限” 2 方向 特定业务场景 模型融合 提升效率，降低成本 3

滑动窗口检测 滑动窗口目标检测算法也有很 明显的缺点，就是计算成本， 因为你在图片中剪切出太多小 方块，卷积网络要一个个地处 理。如果你选用的步幅很大， 显然会减少输入卷积网络的窗 口个数，但是粗糙间隔尺寸可 能会影响性能。反之，如果采 用小粒度或小步幅，传递给卷 积网络的小窗口会特别多，这 意味着超高的计算成本。 23 2.目标检测算法 滑动窗口的卷积实现 24 2