深度学习-Transformer 黄海广 副教授 2023年05月 ## 本章目录 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 04 BERT ### 1 \.Transformer介绍 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 04 BERT ### 1 \.Transformer介绍 ## 为什么需要用transformer 在没有transformer的时候，我们都是用什么来完成这系列的任务 的呢？ 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等）来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然后得到输出。它的时序结构使得这个模型能够得到长距离的 低。  ### 1 \.Transformer介绍 ## Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是序列的任务，输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文

## 深度学习-Vision Transformer (ViT) 黄海广 副教授 2023年06月 ## 本章目录 01 背景知识 02 模型介绍 03 模型训练策略 04 模型的缺点与改进 05 模型的代码实现 ### 1. 背景知识 01 背景知识 02 模型介绍 03 模型训练策略 04 模型的缺点与改进 05 模型的代码实现 ### 1. 背景知识 力结构的简单的网络架构，名为Transformer；论文实现的任务是机器翻译。 ## Transformer结构  ### 1. 背景知识 ## 为什么需要用transformer Transformer原本是用来做NLP的工作的，所 _2.jpg) ### 1. 背景知识 ## 为什么需要用transformer CNN（如ResNet）是图像分类的最佳解决方案。 如果预训练的数据集足够大（至少一亿张图像），则Vision Transformer（ViT）将击败CNN（小幅度） Vision Transformer（ViT）实际上就是Transformer的encode网络。 Image Classification

mechanism, which forms the backbone of the state of the art NLP model architectures such as the Transformer, which is now showing great promise in computer vision applications as well! ## Learn Long-Term al. introduced a novel architecture called Transformer which achieved state of the art performance for common NLP tasks primarily using attention. A transformer replaces the recurrent units in the RNN Encoder-Decoder and the decoder blocks. Although there are other differences between a RNN Encoder-Decoder and a Transformer, the replacement of recurrent cells with attention layers is the most significant one. The goal

language model, characterized by economical training and efficient inference through an innovative Transformer architecture. It is equipped with a total of 236B parameters, of which 21B are activated for each of 128K tokens. We optimize the attention modules and Feed-Forward Networks (FFNs) within the Transformer framework (Vaswani et al., 2017) with our proposed Multi-head Latent Attention (MLA) and DeepSeekMoE ### 2. Architecture By and large, DeepSeek-V2 is still in the Transformer architecture (Vaswani et al., 2017), where each Transformer block consists of an attention module and a Feed-Forward Network

Framework containers are no longer tested on Pascal GPU architectures. Transformer Engine is a library for accelerating Transformer models on NVIDIA GPUs. It includes support for 8-bit floating point (FP8) inference performance with lower memory utilization. Transformer Engine also includes a collection of highly optimized modules for popular Transformer architectures and an automatic mixed precision-like TransformerXL model: This transformer-based language model has a segment-level recurrence and a novel relative positional encoding. The enhancements that were introduced in Transformer-XL help capture better

c/4/42c4fbcf187df0f624a5e70022348082/p1_1.jpg) 美团美团 ## 目录 算法 智能搜索模型预估框架 Augur 的建设与实践 1 Transformer 在美团搜索排序中的实践 23 BERT 在美团搜索核心排序的探索和实践 36 美团智能配送系统的运筹优化实战 60 一站式机器学习平台建设实践 77 美团搜索中 NER 技术的探索与实践 如何解决批量预估的性能和资源问题？ - 如何实现能力的快速复用并能够保障业务的安全？ 下面，我们将逐一给出答案。 ### 4.1 构建预估内核：高效的特征和模型迭代 #### 4.1.1 Operator 和 Transformer 在搜索场景下，特征抽取较为难做的原因主要包括以下几点： 来源多：商户、商品、交易、用户等数十个维度的数据，还有交叉维度。由于美团业务众多，难以通过统一的特征存储去构建，交易相关数据只能通过服务来获取。 RPC、并行计算的编排优化，从而达到提升性能的目的。 Transformer：用于处理与模型相关的特征逻辑，如分桶、低频过滤等等。一个特征可以配置一个或者多个 Transformer。Transformer 也提供接口，业务方可以根据自己的需求定制逻辑。 离在线统一逻辑：Transformer 是特征处理的模型相关逻辑，因此我们将 Transformer 逻辑单独抽包，在我们样本生产的过程中使用，保证离线样本生产与线上特征处理逻辑的一致性。

7710368f689c885ccd2/p1_1.jpg) ## 公司亮点 ### 1. 团队拥有世界级的人才密度： a. 创始人杨植麟是中国35岁以下NLP领域引用最高的研究者，Transformer-XL和XLNet两篇重要论文的第一作者；两位联合创始人周昕宇和吴育昕都有10000+的Google Scholar引用。 b. 团队成员囊括NLP, CV, RL（强化学习）, Infr Meta LLaMa和Google PALM等大多数主流模型的重要组成部分；发明了group normalization，是Stable Diffusion等AI模型成功的关键组件；发明了Transformer-XL，是历史上第一个在词级别和字级别都全面超越RNN的注意力语言模型，解决了语言建模上下文长度的关键问题，定义了语言建模的新标准；曾与DeepMind和CMU合作研究，首次实现小样本性能逼近全监督学习的高效对齐方法。 vision，一号位要能做出技术判断，同时还能拍板执行。一个具体的例子是，月之暗面希望比 OpenAI 更关心用户，原因是杨植麟判断用户数据的 scale up 的效果最终会超越 base model 自身。 杨植麟对于用 transformer 这个概率模型的思想基础走向 AGI 也很有信心，用他的话说 “如果你有 10 亿的 context length，今天看到的问题都不是问题”。 AGI：AI 本质就是一堆 scaling

|