机器学习课程-温州大学-02深度学习-神经网络的编程基础

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

本文档主要介绍了神经网络的编程基础，涵盖了逻辑回归、梯度下降、计算图和向量化等核心内容。逻辑回归是一种经典的分类算法，通过sigmoid函数将线性预测转换为概率预测，并采用交叉熵损失函数和代价函数来优化模型。梯度下降用于优化参数，计算图用于高效的求导过程，而向量化则通过矩阵运算提升计算效率。

AI总结

《机器学习课程-温州大学-02深度学习-神经网络的编程基础》总结：

本课程内容围绕神经网络的编程基础展开，主要包括以下几个核心部分：

1. **二分类与逻辑回归**
- 逻辑回归是经典的分类算法，广泛应用于二分类问题。
- 假设函数为 sigmoid 函数：σ(z) = 1 / (1 + e⁻ᶻ)，其中 z = wᵀx + b。
- 预测规则：当 σ(z) ≥ 0.5 时，预测 y=1；否则预测 y=0。
- 损失函数为交叉熵损失：L(y, ŷ) = -y log(ŷ) - (1 - y) log(1 - ŷ)。
- 代价函数对所有训练样本的损失函数求平均：J(w, b) = (1/m) Σ₁^m L(y⁽ᵢ⁾, ŷ⁽ᵢ⁾)。

2. **梯度下降**
- 梯度下降是用于优化逻辑回归模型参数的算法。
- 更新参数的步长由学习率 α 决定。
- 参数更新公式：w = w - α ∇w J(w, b)，b = b - α ∇b J(w, b)。

3. **计算图**
- 计算图是神经网络计算的可视化工具，用于表示变量之间的关系和计算流程。
- 通过计算图可以高效地进行梯度计算和优化。

4. **向量化**
- 向量化是提升计算效率的关键，适用于批量数据处理。
- 输入数据 X 为 nₓ × m 矩阵，输出数据 Y 为 1 × m 向量。
- 通过向量化操作，可以避免循环计算，直接使用矩阵运算加速计算。
- Python 广播机制在向量化实现中具有重要作用。

课程还引用了权威书籍《深度学习》（Ian Goodfellow 等著）和 Andrew Ng 的深度学习课程作为参考资料。