开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年开发，主要面向使用卷积神经网络的应用场合，并不适 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 提供了大量快速训练、测试网络的高层接口。对于常见应用来说，使用 Keras 可以看到，计算过程非常简洁，没有多余的计算步骤，并且和 Python 语言的编程方式非常 接近，代码简单易读。 这种运算时同时创建计算图? = ? + ?和数值结果6.0 = 2.0 + 4.0的方式叫做命令式编 预览版202112 1.5 深度学习框架 15 程，也称为动态图模式。PyTorch 是采用动态图模式的深度学习框架，开发效率高，调试 方便，所见即所得。一般认为，动态图模式开发效率高，但是运行效率可能不如静态图模

如，在2014年，对卡内基梅隆大学机器学习博士生来说，训练线性回归模型曾经是一个不容易的作业问题。而 现在，这项任务只需不到10行代码就能完成，这让每个程序员轻易掌握了它。 1.6 深度学习的成功案例 人工智能在交付结果方面有着悠久的历史，它能带来用其他方法很难实现的结果。例如，使用光学字符识别 的邮件分拣系统从20世纪90年代开始部署，毕竟，这是著名的手写数字MNIST数据集的来源。这同样适用于 com/pytorch/pytorch 33 https://github.com/apache/incubator‐mxnet 34 https://github.com/google/jax 1.6. 深度学习的成功案例 35 是人工智能正在影响我们生活的最明显的迹象。 • 数字助理的一个关键要素是准确识别语音的能力。逐渐地，在某些应用中，此类系统的准确性已经提高 到与人类同等水平的程度 (Xiong et al 过拟合、欠拟合和模型选择。为了解决这些问题，本章将介绍权重衰减和暂退法等正则化技术。我们还将讨 论数值稳定性和参数初始化相关的问题，这些问题是成功训练深度网络的关键。在本章的最后，我们将把所 介绍的内容应用到一个真实的案例：房价预测。关于模型计算性能、可伸缩性和效率相关的问题，我们将放 在后面的章节中讨论。 4.1 多层感知机 在 3节中，我们介绍了softmax回归（3.4节），然后我们从零开始实现了softmax回归（3

上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习 Pytorch 框架编 程的愉快旅程。 1.5.1 线性回归过程 很坦诚的说，有很多资料把线性回归表述的很复杂、一堆公式 推导让初学者望而生畏，无法准确快速理解线性回归，这里作 者将通过一个码农的独特视角来解释线性回归概念。线性回归 能够完成常见的张量数据操作、最后通过一个具有代表性的线 性回归的例子，帮助大家真正打开 Pytroch 框架开发的大门。 本章的目标是帮助初学者厘清深度学习框架基本概念、基础 组件与基础数据操作、同时通过案例激发起大家进一步学习 的兴趣。 如欲了解更多 OpenVINO™ 开发资料， 请扫描下方二维码，我们会把最新资料及时推送给您。

MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 • 漏斗模型 • 召回模型 • 排序模型 美团推荐场景的应用 漏斗模型 推荐的漏斗模型 候选集 召回 粗排 精排 策略漏斗模型 数千 数百 千万 展位 数十 • 模型的设计 • 样本&特征的设计 • 模型的通路 模型召回解决方案 • 基于双塔的模型召回架构  基于用户和item的DNN结构 粗排模型 • 精排模型 排序模型解决方案 • 粗排阶段的特点  候选集大，通常在千到万级别  线上的响应时间要求高，通常在几到十几ms • 简单模型  计算耗时短：线性模型LR、树模型  模型表达能力不足，效果一般 • 复杂模型  DNN模型解决耗时是关键，利用预计算解决耗时问题  效果保障：保证用户的个性化信息，降低候选集计算复杂度 粗排模型 • 精排阶段的特点 线上耗时相对宽松，几十毫秒（视效果而定） • 精排模型的特点  结构复杂，怎么有效果怎么来  特征多样：历史行为、统计值、id类特征、高维交叉, etc. • 模型发展历程  树模型：Random Forest、XGBoost  小规模DNN：MLP、小规模的Wide & Deep  大规模离散DNN：大规模的Wide & Deep、DeepFM、DCN 精排模型 1. Random Forest

低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志

背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 25 3.模型训练策略 训练策略 模型在Dataset A上预训练，在Dataset B上精调，在Dataset B上评估 26 数据集介绍 在ImageNet(small)预训练，ViT的效果低于Resnet。 在ImageNet-21K(medium)预训练，ViT的效果接近Resnet。

13 5.1 配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 配送时长 • 分商圈、分时段、多模型的精 细化预估 • 分布式、多线程、并行计算最 佳分割点，满足海量数据的实 时性要求 • 在供需失衡之前，即实施调控 手段 5 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量