{I2,I3:4}, {I1:I3:3}, {I2,I1,I3:3} I1 {I2:4} {I2:4} {I2,I1:4} 下面给出的图描绘了与条件节点l3相关联的条件FP树。 项目 支持度 链表 l2 4 l1 3 Null l1:3 l2:3,1 根据条件FP树，我们可以进 行全排列组合，得到挖掘出 来的频繁模式（这里要将商 品本身，如I4也算进去，每 个商品挖掘出来的频繁模式

Transformer的训练 02 Transformer的工作流程 04 BERT 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。

Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 34 GPT-1：借助预训练，进行无监督训练和有监督微调 ◼ G

引入两个广泛使用的网 络，即门控循环单元（gated recurrent units，GRU）和 长短期记忆网络（long short‐term memory，LSTM）。 然后，我们将基于一个单向隐藏层来扩展循环神经网络架构。我们将描述具有多个隐藏层的深层架构，并讨 论基于前向和后向循环计算的双向设计。现代循环网络经常采用这种扩展。在解释这些循环神经网络的变体 时，我们将继续考虑 8节中的语言建模问题。 1)之间呢？ 5. 实现一个能够基于时间序列进行预测而不是基于字符序列进行预测的长短期记忆网络模型。 Discussions110 9.3 深度循环神经网络 到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。其中，隐变量和观测值与具体的函数形式 的交互方式是相当随意的。只要交互类型建模具有足够的灵活性，这就不是一个大问题。然而，对一个单层 来说，这可能具有相当的挑战性。之前在线 (9.7.2) 比如，当选择q(h1, . . . , hT ) = hT 时（就像 图9.7.1中一样），上下文变量仅仅是输入序列在最后时间步的隐状 态hT 。 到目前为止，我们使用的是一个单向循环神经网络来设计编码器，其中隐状态只依赖于输入子序列，这个子 序列是由输入序列的开始位置到隐状态所在的时间步的位置（包括隐状态所在的时间步）组成。我们也可以 使用双向循环神经网络构造编码器，其

num_layers=2, # 2 层 RNN bidirectional=False, # 单向 预览版202112 第 11 章 循环神经网络 34 dropout=0.5) # 使用 dropout 其它代码不需要修改即可运行。