feature len] x: [seq len, batch, feature len] ## input dim, hidden dim ## ☐ ☐ ☐ In [13]: rnn=nn.RNN(100, 10) In [12]: rnn._parameters.keys() Out[12]: odict_keys(['weight_ih_10', 'weight_hh_10' [16]: rnn.bias_hh_10.shape, rnn.bias_ih_10.shape Out[16]: (torch.Size([10]), torch.Size([10])) ### nn.RNN ## ___init___ • input_size – The number of expected features in the input x • hidden_size – The results. Default: 1 ### nn.RNN ## - out, ht = forward(x, h0) x: [seq len, b, word vec] h0/ht: [num layers, b, h dim] out: [seq len, b, h dim] ## Single layer RNN ## ☐ ☐ ☐ rnn = nn.RNN(input_size=100, hidden_size=20

t\operatorname*{m a x}(W_{y a}a^{(t)}+b_{y}) $$ $$ \hat{y}^{}=g_{2}(W_{ya}a^{}+b_{y}) $$ rnn=nn.RNN(input size=10,hidden size=20,num layers=2) ### 2. 循环神经网络(RNN) RNN的前向传播 $$

。 比如我们要完成单层循环神经网络的前向运算，可以方便地实现如下： # 创建输入100，状态向量长度为64的2层RNN网络 # 另外设置激活函数tanh，没有dropout layer = nn.RNN(100, 64, num_layers=2, nonlinearity='tanh', dropout=0) x = torch.randn([80, 4, 100]) # 通过2层的RNN网络 'pretrained word2vec=', 'pretrained # 使用双层的 RNN 层，带 dropout # [100] => [256] self.rnn = nn.RNN(embedding_dim, hidden_dim, num_layers=2,

层循环神经网络的意义（这将在9.3节中介绍）。现在仅需要将多层理解为一层循环神经网络的输出被用作下一层循环神经网络的输入就足够了。 num_hiddens = 256 rnn_layer = nn.RNN(len(vocab), num_hiddens) 我们使用张量来初始化隐状态，它的形状是（隐藏层数，批量大小，隐藏单元数）。 state = torch.zeros((1, batch_size