机器学习课程-温州大学-04深度学习-深层神经网络

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了深层神经网络的基本概念和结构。内容包括神经网络的层数计算（不包括输入层）、前向传播的过程、激活函数的作用，以及参数和超参数的设置。文档还提到深度学习与大脑关联性不大，并提供了相关参考文献。

AI总结

### 文档总结

本课程主要介绍了深层神经网络的基本概念、结构和相关算法。以下是核心内容的总结：

1. **神经网络的结构**
- 神经网络由输入层、隐藏层和输出层组成。在计算神经网络的层数时，通常不将输入层计入，仅计算隐藏层和输出层。
- 左边的网络是两层神经网络（隐藏层+输出层），右边的网络是六层神经网络（五个隐藏层+一个输出层）。

2. **前向传播**
- 前向传播是通过逐层计算输入到输出的过程：
$$ z^{[l]} = w^{[l]}a^{[l-1]} + b^{[l]} $$
$$ a^{[l]} = g^{[l]}(z^{[l]}) $$
其中，$a^{[l]}$ 是第 $l$ 层的激活输出，$g^{[l]}$ 是激活函数。

3. **反向传播与参数更新**
- 反向传播用于计算损失函数对各层参数的梯度：
$$ dW^{[1]} = \frac{1}{m}dZ^{[1]}X^{T} $$
$$ db^{[1]} = \frac{1}{m}\text{np.sum}(dZ^{[1]}, axis=1, keepdims=True) $$
- 参数更新基于梯度下降方法。

4. **激活函数与超参数**
- 激活函数（如sigmoid、ReLU等）和超参数（如学习率、批量大小）需要手动设置，它们直接影响模型的性能。

5. **深度学习与大脑的关联性**
- 深度学习的机制与生物大脑的关联性不大。

6. **参考文献**
- 《深度学习》（人民邮电出版社，2017）
- Andrew Ng的深度学习课程（http://www.deeplearning.ai）

总结：本文重点介绍了神经网络的基本结构、前向传播和反向传播机制，强调了激活函数和超参数的作用，并简要探讨了深度学习与大脑的关联性。