essential classes such as Value, Layer, and MLP (Multi-Layer Perceptron). The library in- cludes examples demonstrating its usage, such as a simplemulti-layer perceptron (MLP) and a computer vision applica- tion gradient computation, facilitating the construction and training of complex network architectures. MLP Class: The MLP class represents a multi-layer percep- tron, composed of multiple layers. It supports the training parameters. VI. SUPPORTING MATERIAL A. Results and Performance Metrics The multi-layer perceptron (MLP) example provided in the library demonstrates successful training, as evidenced by the gradual decrease

hidden nodes are aj, the bias node a0 and the output layer is yk. The targets for the outputs, what the mlp should output, is tk. The proper algorithm for the Multilayer perceptron will then be: The Multilayer 41 6.3.2 The Multilayer Perceptron This is the code for the MultiLayer Perceptron, in the program mlp.py. This code is based upon the code I made for an obligatory task in fall 2018 for the course INF4490 each iteration. 1 import numpy as np 2 import random 3 from scipy.special import expit 5 class mlp: 6 def __init__(self , nhidden , stateLen): 7 self.beta = 1 8 self.eta = 0.1 9 self.momentum =

所示： 图 2 Transformer&Deep 结构示意图 算法 < 27 相比 AutoInt[3]，该结构有以下不同： ● 保留将稠密特征和离散特征的 Embedding 送入到 MLP 网络，以隐式的方式 学习其非线性表达。 ● Transformer Layer 部分，不是送入所有特征的 Embedding，而是基于人工经 验选择了部分特征的 Embedding，第一点是因为美团搜索场景特征的维度高， 部分：针对用户行为序列、商户 、品类 、地理位置等 Embedding 表示，使用 Transformer Layer 来显示学习这些特征的交叉关系。 MLP 部分：考虑到 MLP 具有很强的隐式交叉能力，将所有特征的 Embedding 表 示 concat 一起输入到 MLP。 实践效果及经验 效果：离线效果提升，线上 QV_CTR 效果波动。 经验： ● 三层 Transformer 编码层效果比较好。 编码层效果比较好。 ● 调节多头注意力的“头”数对效果影响不大 。 ● Transformer 编码层输出的 Embedding 大小对结果影响不大。 ● Transformer 和 MLP 融合的时候，最后结果融合和先 concat 再接一个全连 接层效果差不多。 28 > 美团 2020 技术年货 行为序列建模 理解用户是搜索排序中一个非常重要的问题。过去，我们对训练数据研究发现，在训

最终在线上延时不增加的情况下，线上指标 CTR +0.12%； 详细工作可参考 [13]，已被 KDD 2022 接收。 4. 总结 从 2020 年开始，我们通过大量的工程性能优化使粗排层落地 MLP 模型，在 2021 年我们继续在 MLP 模型基础上，持续迭代粗排模型来提升粗排效果。首先，我们借 鉴业界常用的蒸馏方案来联动精排优化粗排，从精排结果蒸馏、精排预测分数蒸馏、 特征表征蒸馏三个层面分别进行了大量 时再进行展开， 通过计算图折叠，极大减小了线上序列部分带来的巨大计算开销。 图 8 用户序列计算图折叠 3.2 情境化多专家网络 大部分工业界的 CTR 预估模型遵循传统 Embedding&MLP 范式，将用户兴趣向 量、商家 / 商品表征和其他特征作为输入，通过朴素的多层神经网络学习特征、样本、 标签之间的关系。另有学术界一些熟知的工作如 PNN5、DeepFM6、xDeepFM7、 构建了 Share Expert 学习全部入口的信息，该 Expert 将始终处于激活状态；为了 捕捉多入口之间的区别与联系，构建了 Domain Extract 模块，为每个入口设置一个 由 MLP 组成的专家网络（Expert）。 ● 为了使每个入口对应的 Expert 可以充分建模私有的表达，在模型训练和推 理时，对于入口 i 的样本或请求，根据入口 ID 激活其对应 Expert

在这里原子模型指的是一种原子计算拓扑结构，比如线性模型、树模型和网络模型。 常用的模型像Logistic Regression和Linear Regression都是线性模型。GBDT、Random Forest都是树 模型。MLP、CNN、RNN都是网络模型。 这里定义的原子模型主要的目的是为了工程实施的便利。一个模型被认定为原子模型有如下两个原因： 该模型经常做为独立预测模型被使用。 该模型有比较完整的实现代码。 总结