深度学习是指通过人工神经网络，通过对数据进行分析学习，最终得出判断。 - 机器学习最难的地方在于特征的提取，而深度学习认为特征提取是可以通过人工神经网络学习而得出结论的。深度学习在非结构化数据方面有很大的优势。 ## 卷积神经网络 - CNN ## 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 ![Image](/uploads/documents/6/9/d/b/69dbb7cfe1d38775

分是行为序列建模，第三部分是重排序。下面会逐一进行详细介绍。 ## 特征工程 在搜索排序系统中，特征工程的输入特征维度高但稀疏性很强，而准确的交叉特征对模型的效果又至关重要。所以寻找一种高效的特征提取方式就变得十分重要，我们借鉴 Autolnt $ ^{[3]} $ 的方法，采用 Transformer Layer 进行特征的高阶组合。 ## 模型结构 我们的模型结构参考 AutoInt 模型，已经将 MT-BERT 应用到搜索意图识别、细粒度情感分析、点评推荐理由、场景化分类等业务场景中 $ ^{[2]} $ 。 作为 BERT 的核心组成结构，Transformer 具有强大的文本特征提取能力，早在多项 NLP 任务中得到了验证，美团搜索也基于 Transformer 升级了核心排序模型，取 得了不错的研究成果 $ ^{[3]} $ 。为进一步优化美团搜索排序结果的深度语义相关性， 根据上下文语义来生成动态词向量，很好地解决了多义词的问题。2017 年底，Google 提出了基于自注意力机制的 Transformer $ ^{[6]} $ 模型。 相比 RNN 模型，Transformer 语义特征提取能力更强，具备长距离特征捕获能力，且可以并行训练，在机器翻译等 NLP 任务上效果显著。Open AI 团队的 GPT $ ^{[7]} $ 使用 Transformer 替换 RNN 进行深层单向语言模型预训练，并通过在下游任务上

特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特征方法的优劣性非常的关键，同时也比较困难。神经网络的出现，使得人为设计特征这一部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。  图 1.13 网络层数变化趋势 #### 1.3.4 通用智能 过去，为了提升某项任务上的算法性能，往往需要利用先验知识手动设计相应的特 征，以帮助算法更好地收敛到最优解。这类特征提取方法通常是与某些具体任务场景强相关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整 nn.functional 下，当然也有少数例外，例如此处。读者知悉即可，不必深究。 ### 6.5 输出层设计 我们来特别地讨论网络的最后一层的设计，它除了和所有的隐藏层一样，完成维度变换、特征提取的功能，还作为输出层使用，需要根据具体的任务场景来决定是否使用激活函数，以及使用什么类型的激活函数等。 我们将根据输出值的区间范围来分类讨论。常见的几种输出类型包括： ☐ $ o_{i} \in