编码具有明显的缺陷。 在自然语言处理领域，有专门的一个研究方向在探索如何学习到单词的表示向量(Word Vector)，使得语义层面的相关性能够很好地通过 Word Vector 体现出来。一个衡量词向量之 间相关度的方法就是余弦相关度(Cosine similarity)： similarity(?,?) ≜ cos(?) = ? ⋅ ? |?| ∙ |?| 其中?和?代表了两个词向量。图

dtype=torch.float32) 嵌入层的输入是词元（词）的索引。对于任何词元索引i，其向量表示可以从嵌入层中的权重矩阵的第i行获 得。由于向量维度（output_dim）被设置为4，因此当小批量词元索引的形状为（2，3）时，嵌入层返回具有 形状（2，3，4）的向量。 x = torch.tensor([[1, 2, 3], [4, 5, 6]]) embed(x) 666 14. 自然语言处理：预训练