深度学习与PyTorch入门实战 - 19.2 多输出感知机

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档主要讲解了多输出感知机的误差函数及其导数的计算过程，并通过PyTorch框架展示了具体的实现方法。内容涉及误差函数的数学推导、导数的计算公式以及使用PyTorch进行多输出感知机的实践代码。文档详细展示了如何通过链式法则计算梯度，并对模型参数进行更新。

AI总结

# 深度学习与PyTorch入门实战 - 19.2 多输出感知机

## 总结

1. **多输出感知机**
多输出感知机是一种改进的感知机模型，与单输出感知机的区别在于其输出层有多个神经元，能够处理多分类、回归等任务。

2. **误差函数**
文中使用均方误差（Mean Squared Error, MSE）作为损失函数，公式为：
$$ E = \frac{1}{2} \sum \left(O_i^1 - t_i\right)^2 $$
其中，$O_i^1$ 是输出，$t_i$ 是目标值。

3. **权重更新公式**
通过链式法则推导出权重的梯度公式：
$$ \frac{\partial E}{\partial w_{jk}} = (O_k - t_k) O_k (1 - O_k) x_j^0 $$
其中，$O_k$ 是第 $k$ 个输出的激活值，$x_j^0$ 是输入特征。

4. **PyTorch 实现**
文中通过 PyTorch 实现了一个多输出感知机模型，代码如下：

   x = torch.randn(1, 10)  # 输入
   w = torch.randn(2, 10, requires_grad=True)  # 权重
   o = torch.sigmoid(x @ w.t())  # 输出
   loss = F.mse_loss(torch.ones(1, 1), o)  # 均方误差损失
   loss.backward()  # 反向传播计算梯度

输出形状为 `torch.Size([1, 2])`，损失值为 `tensor(0.2443)`。

总结：本文介绍了多输出感知机的基本原理，并通过 PyTorch 实现了模型的前向传播和反向传播，展示了如何计算损失和更新权重。