从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每个单词编码时关注输入句子的其他单词。 自注意力层的输出会传递到前馈（feed-forward）神经网络中。每个位置的单词对应的前馈神经网络都完全一样（译注：另一种解读就是一层窗口为一个单词的一维卷积神经网络）。解码器中也有编码器的自注意力（self-attention）层和前馈（feed-forward） Embedding，否则 Transformer 就是一个词袋模型了。 •Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V 矩阵通过输出进行线性变换得到。 •Transformer 中 Multi-Head Attention 中有多个 Self-Attention，可以捕获单词之间多种维度上的相关系数 attention 分数。 ### 4 \. BERT

Encoder-decoder attention computes attention between the encoder output sequence and the target sequence. Self-attention is a special type of attention which operates over a single sequence to compute the relationship Representation\quad Z=SV $$ The mechanism to compute self-attention is identical. It uses the same sequence as both X and Y. In case of self-attention, the final representation Z contains information about about the relationship between the sequence elements. In the next section, we will use self-attention to classify news articles. ## News Classification Using RNN and Attention Models Let's apply our

的编码层，这里先对它做简单的介绍。它主要由以下两部分组成： Multi-Head Attention Multi-Head Attention 实际上是 h 个 Self-Attention 的集成，h 代表头的个数。其中 Self-Attention 的计算公式如下： $$ Attention\left(\mathbf{K},\mathbf{Q},\mathbf{V}\right)=softmax\ Heidelberg, 2007: 291–324. [9] Zhang S, Tay Y, Yao L, et al. Next item recommendation with self-attention[J]. arXiv preprint arXiv:1808.06414, 2018. [10] Yao S, Huang B. Beyond parity: Fairness objectives Query 不同会自动生成适配不同场景的个性化推荐理由。本文分别对 Transformer 和递归神经网络（RNN）两种主流模型结构进行了改造。基于 Transformer 结构，本文通过改进 Self-Attention 机制来引入 Query 信息，包括在 Encoder 引入 Query-aware Review Encoder 使得在评论编码最初阶段就开始考虑 Query 相关的信息，在 Decoder

模型，该架构相比传统的 RNN（递归神经网络）和 LSTM（长短时记忆网络）具有更高的训练效率和更强的长距离依赖建模能力。Transformer 由多个关键组件组成：1. 自注意力机制（Self-Attention）：模型在处理文本时，会自动关注句子中的重要单词，理解不同词语间的联系。2. 多头注意力（Multi-Head Attention）：使用多个注意力头同时分析不同的语义信息，使得模型的理解能力更强。3

并不是自然语言处理的最终解决方案，近年来随着注意力机制(Attention Mechanism)的提出，克服了 RNN 训练不稳定、难以并行化等缺陷，在自然语言处理和图片生成等领域中逐渐崭露头角，甚至基于自注意力 Self-attention 的一系列 Transformer 模型已经开始侵蚀计算机视觉领域。注意力机制最初在图片分类任务上提出，但逐渐开始侵蚀 NLP 各大任务。2017 年，Google 提出了第一个利用纯注意力机制实现的网络模型 GAN 变种都能达到相似的性能(FID 分数)。这项工作提醒业界是否这些 GAN 变种具有本质上的创新。 #### 13.4.6 Self-Attention GAN Attention 机制在自然语言处理(NLP)中间已经用得非常广泛了，Self-Attention GAN (SAGAN) $ ^{[8]} $ 借鉴了 Attention 机制，提出了基于自注意力机制的 GAN 变种。SAGAN Information Processing Systems, USA, 2018. [8] H. Zhang, I. Goodfellow, D. Metaxas 和 A. Odena, “Self-Attention Generative Adversarial Networks,” 出处 Proceedings of the 36th International Conference on Machine

ning结合,使智能体能够直接从高维感官输入(如像素)中学习控制策略。结合了基于深度学习的策略/价值网络与蒙特卡洛树搜索(MCTS),成为神经-符号混合方法的成功典范。提出自注意力机制(Self-Attention),成为现代大语言模型的标准架构,显著提升了处理长序列数据的能力。 大模型时代(2020-2022) 大语言模型驱动(LLM-Driven) GPT-3(2020)思维链(Chain-of-Thought learns because it is intelligent.”。当我们读到加粗的"it"时，为了理解它的指代，我们的大脑会不自觉地将更多的注意力放在前面的"agent"这个词上。自注意力(Self-Attention)机制就是对这种现象的数学建模。它允许模型在处理序列中的每一个词时，都能兼顾句子中的所有其他词，并为这些词分配不同的“注意力权重”。权重越高的词，代表其与当前词的关联性越强，其信息也应该在当前词的表示中占据更大的比重。 模型就像一个在玩“文字接龙”的游戏，它不断地“回顾”自己已经写下的内容，然后思考下一个字该写什么。你可能会问，解码器是如何保证在预测第 t 个词时，不去“偷看”第 t+1 个词的答案呢？ 答案就是掩码自注意力（Masked Self-Attention）。在 Decoder-Only 架构中，这个机制变得至关重要。它的工作原理非常巧妙： 在自注意力机制计算出注意力分数矩阵（即每个词对其他所有词的关注度得分）之后，但在进行Softmax

性价值的注意力模型，它双向对齐并且可以微分。 最后将描述仅仅基于注意力机制的Transformer架构，该架构中使用了多头注意力（multi-head attention）和自注意力（self-attention）。自2017年横空出世，Transformer一直都普遍存在于现代的深度学习应用中，例如语言、视觉、语音和强化学习领域。 ### 10.1 注意力提示 感谢读者对本书的关注，因为读者 后，我们将词元序列输入注意力池化中，以便同一组词元同时充当查询、键和值。具体来说，每个查询都会关注所有的键—值对并生成一个注意力输出。由于查询、键和值来自同一组输入，因此被称为自注意力（self-attention）(Lin et al., 2017, Vaswani et al., 2017)，也被称为内部注意力（intra-attention）(Cheng et al., 2016, Parikh 请设计一种可学习的位置编码方法。 Discussions $ ^{123} $ ### 10.7 Transformer 10.6.2节中比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型(Cheng

Gou, Wei Zhang, and Hao Yang. “Dysat: Deep neural representation learning on dynamic graphs via self-attention networks.” In Proceedings of the 13th International Conference on Web Search and Data Mining Partition 处理，切分为每个 Query 单元的上下文商户序列，再输入到 Transformer 层进行编码。 • Transformer 编码层：通过 Multi-Head Self-Attention 编码商户上下文关系。 ## 优化目标 在搜索场景下，我们关注的还是用户搜索的成功率（有没有发生点击行为），不同于推荐、广告场景往往基于全局性损失预估 item 的点击率，搜索业务更 ，可以灵活处理来自不同空间尺度的特征，从而能够广泛应用于图像分割、检测等变长输入的场景。 • Twins-SVT 提出了空间可分离自注意力机制（Spatially Separable Self-Attention，SSSA）来对图像特征的空间维度进行分组，分别计算各局部空间的自注意力，再利用全局自注意力机制对其进行融合。这种机制在计算上更高效，性能更优。 Twins 系列模型实现简单，部署友好，在