MLP反向传播 主讲人：龙良曲 Chain rule ▪ ?? ???? ? = ?? ??? 1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? Multi-output Perceptron ∑ σ E ?0 0 ?1 0 ?2 0

一起。每一层都输出到上面的层，直到生成最后的输 出。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayer perceptron），通常缩写为MLP。下面，我们以图的方式描述了多层感知机（图4.1.1）。 128 4. 多层感知机 图4.1.1: 一个单隐藏层的多层感知机，具有5个隐藏单元 这个多层感知机有4个输入，3个输出，其隐藏层包含 Discussions59 59 https://discuss.d2l.ai/t/1796 134 4. 多层感知机 4.2 多层感知机的从零开始实现 我们已经在 4.1节中描述了多层感知机（MLP） ，现在让我们尝试自己实现一个多层感知机。为了与之 前softmax回归（3.6节 ）获得的结果进行比较，我们将继续使用Fashion‐MNIST图像分类数据集（3.5节）。 import torch 56个隐藏单元的隐藏层和一 个10维输出层。注意，下面的MLP类继承了表示块的类。我们的实现只需要提供我们自己的构造函数（Python中 的__init__函数）和前向传播函数。 class MLP(nn.Module): # 用模型参数声明层。这里，我们声明两个全连接的层 def __init__(self): # 调用MLP的父类Module的构造函数来执行必要的初始化。 # 这

模型框架 最简洁的Vision Transformer模型 ，先将图片分成 16x16的patch块， 送入transformer encoder，第一个 cls token的输出送 入mlp head得到 预测结果。 2.模型介绍 20 来自输入空间的注意力表达 输入 输入 输入 注意力 注意力 注意力 2.模型介绍 21 左图展示了模型学习到的图嵌入，中图展示了学习到的位置嵌入，右图展示了不同层注意 模型的代码实现 28 ViT缺点 Vision Transformer比CNN具有更少的图像特异性归纳偏差。 在CNN中，局部性、二维邻域结构和平移等方差被融入到整个模型的每一层中。 在ViT中，只有MLP层是局部的、平移等变的，而自注意层是全局的。 二维邻域结构的使用非常少：在模型的开始通过将图像分割成小块，在微调时调整不同分辨率图 像的位置嵌入。 除此之外，初始化时的位置嵌入不携带关于pat 类型参数，线性变换nn.Linear(..., dim)后输 出张量的尺寸 。 depth：int 类型参数，Transformer模块的个数。 heads：int 类型参数，多头注意力中“头”的个数。 mlp_dim：int 类型参数，多层感知机中隐藏层的神经 元个数。 channels：int 类型参数，输入图像的通道数，默认为 3。 dropout：float类型参数，Dropout几率，取值范围为

最终在线上延时不增加的情况下，线上指标 CTR +0.12%； 详细工作可参考 [13]，已被 KDD 2022 接收。 4. 总结 从 2020 年开始，我们通过大量的工程性能优化使粗排层落地 MLP 模型，在 2021 年我们继续在 MLP 模型基础上，持续迭代粗排模型来提升粗排效果。首先，我们借 鉴业界常用的蒸馏方案来联动精排优化粗排，从精排结果蒸馏、精排预测分数蒸馏、 特征表征蒸馏三个层面分别进行了大量 时再进行展开， 通过计算图折叠，极大减小了线上序列部分带来的巨大计算开销。 图 8 用户序列计算图折叠 3.2 情境化多专家网络 大部分工业界的 CTR 预估模型遵循传统 Embedding&MLP 范式，将用户兴趣向 量、商家 / 商品表征和其他特征作为输入，通过朴素的多层神经网络学习特征、样本、 标签之间的关系。另有学术界一些熟知的工作如 PNN5、DeepFM6、xDeepFM7、 构建了 Share Expert 学习全部入口的信息，该 Expert 将始终处于激活状态；为了 捕捉多入口之间的区别与联系，构建了 Domain Extract 模块，为每个入口设置一个 由 MLP 组成的专家网络（Expert）。 ● 为了使每个入口对应的 Expert 可以充分建模私有的表达，在模型训练和推 理时，对于入口 i 的样本或请求，根据入口 ID 激活其对应 Expert

• 模型发展历程  树模型：Random Forest、XGBoost  小规模DNN：MLP、小规模的Wide & Deep  大规模离散DNN：大规模的Wide & Deep、DeepFM、DCN 精排模型 1. Random Forest 2. XGBoost 1. MLP 2. 少量特征空间 的Wide & Deep 1. 大规模离散特征 的Wide & Deep

1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? 下一课时 MLP反向传播 Thank You.

0 ??0 ??? ? ??? ? ??? ? ??? ? ?0 1 ?0 1 t ?? ???0= ?0 − ? O0 (1 − ?0) ?? 0 下一课时 MLP及梯度 Thank You.

方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server MPI TreeModel SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型:

2014年 Jeffrey 2018年2月 Allen 2016年 facebook 2018年6月 openAI 2018年10月google + 复杂网络模型 + 简单mlp 49 BERT训练的词向量有什么不同？ 在word2vec中，相同词对应的向量训练好后就固定了 但在不同的场景中，‘干什么’的意思会相同吗？ 这俩兄弟都叫transformer: 4