loss}{\nabla\theta}=2\sum[y-f_{\theta}(x)]*\frac{\nabla f_{\theta}(x)}{\nabla\theta} $$ ### autograd.grad ## ☀️ ☁️ ☁️ In [15]: x=torch.ones(1) In [17]: w=torch.full([1],2) In [19]: mse=F.mse_loss(torch

[70]: y2=y1*w2+b2 In [72]: dy2_dy1=autograd.grad(y2,[y1],retain_graph=True)[0] In [73]: dy1_dw1=autograd.grad(y1,[w1],retain_graph=True)[0] In [74]: dy2_dw1=autograd.grad(y2,[w1],retain_graph=True)[0] In

requires_grad w = torch.tensor(4., requires_grad=True) # 构建计算过程 y = a * w**2 + b * w + c # 求导 w_grad = autograd.grad(y, [w]) print('w_grad: ', w_grad) 程序的运行结果为: w_grad : (tensor(10.),) 可以看到，PyTorch 自动求导的结果与手动计算的结果完全一致。 创建w权值张量 b = torch.tensor(3., requires_grad=True) # 创建b偏置张量 y = x * w + b # 计算输出 dy_dw, dy_db = autograd.grad(y, [w, b]) # y对w, b的偏导数 print(dy_dw, dy_db) # 打印偏导数 Out[21]: tensor(1.), tensor(1.) 上述代码需要计算输出对 = loss / b # 平均 return avg_loss 通过 autograd.grad() 函数求得网络参数到梯度信息，结果保存在 grads 列表变量中，实现如下： # 根据 MSE 误差来对网络中的张量 $ w_{1}, b_{1}, \ldots $ 求梯度 grads = autograd.grad(loss, [w1, b1, w2, b2, w3, b3]) 并按照