深度学习与PyTorch入门实战 - 18.1 激活函数梯度

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档介绍了几种常用的激活函数，包括sigmoid、ReLU和tanh，并展示了它们的数学表达式和在PyTorch中的实现。通过具体的代码示例，文档演示了这些激活函数的输出及其梯度计算。例如，sigmoid函数的导数为σ(x)(1-σ(x))，ReLU函数的导数为分段函数，而tanh函数的导数为1-tanh²(x)。文档还通过数值示例展示了这些激活函数在不同输入下的表现。

AI总结

# 文档总结：PyTorch中的激活函数及其梯度

## 1. 激活函数的作用
激活函数用于引入非线性，使神经网络能够学习复杂的模式。常见的激活函数包括**sigmoid**、**ReLU**和**tanh**。

---

## 2. 常见激活函数及其梯度

### 1. **sigmoid函数**
- **定义**：
$$\sigma(x) = \frac{1}{1 + e^{-x}}$$
- **导数**：
$$\sigma'(x) = \sigma(x)(1 - \sigma(x))$$
- **特点**：
输出范围在[0,1]，适用于输出层。

### 2. **ReLU函数**
- **定义**：
$$f(x) = \begin{cases} 0 & \text{if } x < 0 \\ x & \text{if } x \geq 0 \end{cases}$$
- **导数**：
$$f'(x) = \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \end{cases}$$
- **特点**：
计算速度快，适用于隐藏层。

### 3. **tanh函数**
- **定义**：
$$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$
- **导数**：
$$\tanh'(x) = 1 - \tanh^2(x)$$
- **特点**：
输出范围在[-1,1]，对称性好，适用于某些特定任务。

---

## 3. PyTorch中的实现
- **sigmoid**：`torch.sigmoid`
- **ReLU**：`torch.relu` 或 `F.relu`
- **tanh**：`torch.tanh`

---

## 4. 示例输出
- **sigmoid**：
输入：`[-100.0000, -77.7778, ..., 100.0000]`
输出：`[0.0000, 1.6655e-34, ..., 1.0000]`

- **ReLU**：
输入：`[-1, 1, ...]`
输出：`[0.0000, 0.0000, ..., 1.0000]`

- **tanh**：
输入：`[-1, 1, ...]`
输出：`[-0.7616, -0.6514, ..., 0.7616]`

---

## 5. 总结
激活函数的选择对神经网络的性能至关重要。sigmoid和tanh适合输出层，ReLU因其简单性和高效性广泛应用于隐藏层。PyTorch提供了便捷的接口来实现这些函数。