深度学习-Transformer 黄海广 副教授 2 03 Transformer的训练 本章目录 01 Transformer介绍 02 Transformer的工作流程 04 BERT 3 1.Transformer介绍 01 Transformer介绍 03 Transformer的训练 02 Transformer的工作流程 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 5 1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 用的模型，这种情况一般是在机器翻 译的任务中出现，将一句中文翻译成 英文，那么这句英文的长度有可能会 比中文短，也有可能会比中文长，所 以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 6 1.Transformer介绍 Encoder-Decoder模型

1 2023年06月 深度学习-Vision Transformer (ViT) 黄海广 副教授 2 03 模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention Add & Norm Input Embedding Output Embedding Feed Inputs Outputs (shifted right) Positional Encoding Positional Encoding 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 块就相当于句子里的一个 词。这里把每个小块称作

Normalization: bn, gn, ln?  激活函数: relu, leaky_relu, swish ?  Backbone: resnet, hrnet, mobilenet, transformer?  多任务模型: share-bottom, mmoe, ple?  特征选择/生成: Age, sex, comment, click… 解决方案: 超参搜索 效果提升 模型理解 Blade  推荐模型优化: 千亿特征 3. 工程优化 RingAllReduce + 层级级联 EasyVision 多机多卡性能对比 工程优化: 数据并行  M6模型  Transformer模型: RapidFormer  人脸分类模型: 超大softmax  3D卷积模型 M6模型 RapidFormer性能 工程优化: 模型并行(Whale)  FP16 / Op融合(Fusion Stitch)  MILR: Blade Disc 工程优化: Blade模型推理 Dynamic Shape Compiler for Machine Learning Workloads EmbeddingVariable [No Hash Conflict] 特征准入/淘汰 Adaptive Embedding 训练: 推理: Ring All-reduc同步训练

weixin.qq.com/s/RwWuZBSaoVXVmZpnyg7FHg 128 > 2022年美团技术年货 [5] https://tech.meituan.com/2020/04/16/transformer-in-meituan.html. [6] https://tech.meituan.com/2021/07/08/multi-business-modeling.html. [7] Tang 度神经网络来捕获来自不同领域的特征之间的交互，以便工程师可以摆脱枯燥的特征 工程工作。最近，我们称之为用户兴趣模型的一系列工作，专注于从历史行为中学习 潜在用户兴趣的表示，使用不同的神经网络架构，如 CNN、RNN、Transformer 和 Capsule 等。DIN1 强调用户兴趣是多样的，并引入了注意力机制来捕捉用户对不同 目标商品的不同兴趣。DIEN2 指出，历史行为之间的时间关系对于建模用户的兴趣漂 移很重要，并设计了一个带有辅助损失的 定离线训练时长与在线 Latency 约束下，选择了 4Experts MMOE 版本作为新的基 线模型，并做详细的探索，进行较为细致的优化，包括： ● 引 入 残 差 连 接： 受 Switch Transformer12 启 发， 引 入 embedding layer 与 Experts 输 出 层 之 间 的 残 差 连 接， 用 来 缓 解 梯 度 消 失， 离 线 CXR GAUC+0.1pp。

cn/），发布时间
2023年11⽉2⽇
• 欢迎关注公众号，了解更多动态 公司亮点 1.
团队拥有世界级的⼈才密度：
a. 创始⼈杨植麟是中国35岁以下NLP领域引⽤最⾼的研究者，Transformer-XL
和
XLNet
两篇重要 论⽂的第⼀作者；两位联合创始⼈周昕宇和吴育昕都有
10000+
的Google
Scholar引⽤。
b. 团队成员囊括NLP,
CV,
RL（强化学习） LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。
能拍板执⾏。⼀个具体的例⼦是，⽉之暗⾯希望⽐
OpenAI
更关⼼⽤⼾，原因是杨植麟判断⽤⼾数据的
scale
up
的效果最终会超越
base
model
⾃⾝。
杨植麟对于⽤
transformer
这个概率模型的思想基础⾛向
AGI
也很有信⼼，⽤他的话说“如果你有
10
亿的
context
length，今天看到的问题都不是问题”。
AGI：AI
本质就是⼀堆
scaling
law

预训练模型的发展 31 预训练模型的发展 32 Transformer 资料来源：《Attention Is All You Need》,Ashish Vaswani et.al 2017 ◼ Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、 更易于并行化，所需训练时间明显更少 ◼ Transformer通过成功地将其应用于具有大量和有限训练数据的分 析，可以很好地推广到其他任务 Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述

. . . . . . . . . 5 2.1 LLM 基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Transformer 基础架构 . . . . . . . . . . . . . . . . . . . . . . 6 2.3 LLM 基本训练方法 . . . . . . . . . . . . . . billion，意思是十亿，7b 就是 70 亿，8b 就 是 80 亿，70 亿、80 亿是指大模型的神经元参数（权重参数 weight+bias）的 总量。目前大模型都是基于 Transformer 架构，并且是很多层的 Transformer 结构，最后还有全连接层等，所有参数加起来 70 亿，80 亿，还有的上千亿。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 就是自然语言处理领域实现扩展规律的最好的网络结构。 2.2 Transformer 基础架构 LLM 依赖于 2017 年 Google 提出的 Transformer 模型，该架构相比传统的 RNN（递归神经网络）和 LSTM（长短时记忆网络）具有更高的训练效率和

Maas（Model as a service）、Aaas（Agent as a service）这样的平台，如玩乐高一般搭建自己的 AI 云原生应用。 2. 算力层深挖定制化、低能耗的可能性，但固化 transformer 可能不是最优解 虽说智能体不需要太大的模型，但其运营成本（模型推理计算成本）仍然较高。在短时间内， 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】，能源消耗将会是 2030 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么，把 transformer“焊死”到板子上就是最佳方案吗？我知道你很急，但你先别急。大 模型底层框架还存在底层路线之争。 32 / 111 我们知道，Transformer 架构呈现了 O(n²)的理论计算复杂度，这里的 n 指的是大模型输入 序列的 token 数量，但其前任语言模型担当 最近，以 Mamba、RWKV 为代表的类 RNN 结构死灰复燃，公开挑战 transformer 地位。 更有最新研究【13】从理论上表明，RNN 对比 Transformer 的表达力，只差一个 in-context-retrieval。 在这个方向的持续投入下，我们很可能会迎接一个介于 RNN 和 Transformer 之间的“新王”。 因此，算力层短时间内的主题仍然是“半通用化”“高算力”“低能耗”。

位置编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 10.7 Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 10.7 多 层、残差连接、不同类型的正则化。然而，由于序列的长距离依赖性，训练长短期记忆网络和其他序列模型 （例如门控循环单元）的成本是相当高的。在后面的内容中，我们将讲述更高级的替代模型，如Transformer。 小结 • 长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。 • 长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层，而记忆元完 全属于内部信息。 力是深度学习中的具有突破性价值的注意力模型，它 双向对齐并且可以微分。 最后将描述仅仅基于注意力机制的Transformer架构，该架构中使用了多头注意力（multi‐head attention）和 自注意力（self‐attention）。自2017年横空出世，Transformer一直都普遍存在于现代的深度学习应用中，例 如语言、视觉、语音和强化学习领域。 381 10.1 注意力提示

cloud provider ​What is NUMA? ​How to solve potential issues with CPU and memory intensive workloads ​Kubernetes default resource management ​How it works ​Extending the functionality of Kubernetes cluster have uneven available resources due to node variations or unevenly distributed pre-existing workloads, this might prevent perfectly even spreading of your pods across zones. • The Kubernetes Zones is NUMA? Non Uniform Memory Architecture 12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle, MongoDB), present a workload which will attempt to detect