机器学习课程-温州大学-04深度学习-深层神经网络

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档介绍了深层神经网络的基本概念和结构，包括输入层、隐藏层和输出层，不计算输入层的层数。详细讲解了前向传播算法的过程，即通过线性变换和激活函数依次计算各层的线性变换值和激活值。文档还讨论了激活函数，主要以Sigmoid函数为例，解释了其公式和导数，以及在预测中的应用。此外，还介绍了深度学习的表示方法和超参数的定义，如学习率、隐藏层数目等，强调超参数对模型参数的重要影响。

AI总结

### 总结：机器学习课程-温州大学-04深度学习-深层神经网络

本文档主要围绕深层神经网络的核心概念和关键算法展开，重点介绍了神经网络的结构、前向传播、激活函数及参数和超参数的区别。以下是核心内容的总结：

---

#### **1. 神经网络的层数计算**
- **输入层**不算在神经网络的层数中，只计算**隐藏层**和**输出层**。
- 例如：
- 包含一个隐藏层和一个输出层的神经网络，被称为**两层神经网络**。
- 包含五个隐藏层和一个输出层的神经网络，被称为**六层神经网络**。

---

#### **2. 前向传播**
前向传播是指神经网络中数据从输入层通过隐藏层传递到输出层的过程。具体步骤如下：
1. **第一层**：计算 $z^{[1]} = W^{[1]}x + b^{[1]}$，然后应用激活函数 $a^{[1]} = g^{[1]}(z^{[1]})$。
2. **后续层**：对于第 $l$ 层，计算 $z^{[l]} = W^{[l]}a^{[l-1]} + b^{[l]}$，然后应用激活函数 $a^{[l]} = g^{[l]}(z^{[l]})$。
3. 通过迭代上述步骤，数据从输入层逐层传递到输出层。

---

#### **3. 激活函数**
激活函数用于引入非线性，增强神经网络的表达能力。常用的激活函数包括 **Sigmoid 函数**：
- **Sigmoid 函数公式**：$a = \sigma(z) = \frac{1}{1 + e^{-z}}$。
- **导数**：$\frac{d}{dz}g(z) = g(z)(1 - g(z))$。
- **应用**：当 $\sigma(z) \geq 0.5$ 时，预测 $y = 1$；当 $\sigma(z) < 0.5$ 时，预测 $y = 0$。

---

#### **4. 参数与超参数**
- **参数**：指神经网络中的权重 $W$ 和偏置 $b$，这些参数通过训练数据学习得到。
- **超参数**：指需要人工设置的参数，例如：
- 学习率（learning rate）
- 隐藏层数目 $L$
- 隐藏层单元数目 $n^{[l]}$
- 激活函数的选择

---

#### **5.深度学习的表示**
深度学习结合了表示学习和浅层学习，通过多层非线性变换来提取复杂特征。

---

### 总结
本文档系统地介绍了深层神经网络的核心概念，包括神经网络的层数计算、前向传播的具体过程、激活函数的作用以及参数和超参数的区别，为理解深度学习的基础知识提供了清晰的框架。