MLP反向传播 主讲人：龙良曲 Chain rule ▪ ?? ???? ? = ?? ??? 1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? Multi-output Perceptron ∑ σ E ?0 0 ?1 0 ?2 0

一起。每一层都输出到上面的层，直到生成最后的输 出。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayer perceptron），通常缩写为MLP。下面，我们以图的方式描述了多层感知机（图4.1.1）。 128 4. 多层感知机 图4.1.1: 一个单隐藏层的多层感知机，具有5个隐藏单元 这个多层感知机有4个输入，3个输出，其隐藏层包含 Discussions59 59 https://discuss.d2l.ai/t/1796 134 4. 多层感知机 4.2 多层感知机的从零开始实现 我们已经在 4.1节中描述了多层感知机（MLP） ，现在让我们尝试自己实现一个多层感知机。为了与之 前softmax回归（3.6节 ）获得的结果进行比较，我们将继续使用Fashion‐MNIST图像分类数据集（3.5节）。 import torch 56个隐藏单元的隐藏层和一 个10维输出层。注意，下面的MLP类继承了表示块的类。我们的实现只需要提供我们自己的构造函数（Python中 的__init__函数）和前向传播函数。 class MLP(nn.Module): # 用模型参数声明层。这里，我们声明两个全连接的层 def __init__(self): # 调用MLP的父类Module的构造函数来执行必要的初始化。 # 这

模型框架 最简洁的Vision Transformer模型 ，先将图片分成 16x16的patch块， 送入transformer encoder，第一个 cls token的输出送 入mlp head得到 预测结果。 2.模型介绍 20 来自输入空间的注意力表达 输入 输入 输入 注意力 注意力 注意力 2.模型介绍 21 左图展示了模型学习到的图嵌入，中图展示了学习到的位置嵌入，右图展示了不同层注意 模型的代码实现 28 ViT缺点 Vision Transformer比CNN具有更少的图像特异性归纳偏差。 在CNN中，局部性、二维邻域结构和平移等方差被融入到整个模型的每一层中。 在ViT中，只有MLP层是局部的、平移等变的，而自注意层是全局的。 二维邻域结构的使用非常少：在模型的开始通过将图像分割成小块，在微调时调整不同分辨率图 像的位置嵌入。 除此之外，初始化时的位置嵌入不携带关于pat 类型参数，线性变换nn.Linear(..., dim)后输 出张量的尺寸 。 depth：int 类型参数，Transformer模块的个数。 heads：int 类型参数，多头注意力中“头”的个数。 mlp_dim：int 类型参数，多层感知机中隐藏层的神经 元个数。 channels：int 类型参数，输入图像的通道数，默认为 3。 dropout：float类型参数，Dropout几率，取值范围为

• 模型发展历程  树模型：Random Forest、XGBoost  小规模DNN：MLP、小规模的Wide & Deep  大规模离散DNN：大规模的Wide & Deep、DeepFM、DCN 精排模型 1. Random Forest 2. XGBoost 1. MLP 2. 少量特征空间 的Wide & Deep 1. 大规模离散特征 的Wide & Deep

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . 快速开始 11 • IMDB 电影评论情感分类：基于词序列的 LSTM • Reuters 新闻主题分类：多层感知器 (MLP) • MNIST 手写数字分类：MLP 和 CNN • 基于 LSTM 的字符级文本生成 … 等等。 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： import keras from keras.models import Sequential __init__(self, use_bn=False, use_dp=False, num_classes=10): super(SimpleMLP, self).__init__(name='mlp') self.use_bn = use_bn self.use_dp = use_dp self.num_classes = num_classes self.dense1 = keras

1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? 下一课时 MLP反向传播 Thank You.

0 ??0 ??? ? ??? ? ??? ? ??? ? ?0 1 ?0 1 t ?? ???0= ?0 − ? O0 (1 − ?0) ?? 0 下一课时 MLP及梯度 Thank You.

ca/~vincentp/ift3395/lectures/backprop_old.pdf NO! Multi-Layer Perceptron is coming ▪ New Issue: How to train MLP ▪ Chain Rules => Backpropagation http://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old

方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server MPI TreeModel SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: