机器学习课程-温州大学-02深度学习-神经网络的编程基础

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

本章主要介绍了深度学习中神经网络的编程基础，重点讲解了二分类与逻辑回归、梯度下降、计算图和向量化四个核心概念。逻辑回归作为经典的分类算法，通过sigmoid函数实现二分类任务。梯度下降包括批量梯度下降和随机梯度下降两种形式，用于优化模型参数。计算图和向量化则是神经网络编程中的基础技术，为深度学习模型的高效计算提供了支持。

AI总结

### 《机器学习课程-温州大学-02深度学习-神经网络的编程基础》总结

#### 1. 二分类与逻辑回归
- **核心目标**：将数据映射到0或1的二分类问题。
- **逻辑回归模型**：使用sigmoid函数将线性回归的输出压缩到(0,1)区间，公式为：
$$ \sigma(z) = \frac{1}{1 + e^{-z}} $$
其中，$z = w^T x + b$。
- **损失函数**：采用对数损失函数，公式为：
$$ L(\hat{y}, y) = -y \log(\hat{y}) - (1 - y) \log(1 - \hat{y}) $$

#### 2. 梯度下降
- **批量梯度下降 (Batch GD)**：利用所有训练样本计算梯度，更新参数。
- **随机梯度下降 (SGD)**：每次仅使用单个样本计算梯度，更新参数。
- **小批量梯度下降 (Mini-batch GD)**：介于两者之间，每次使用部分样本。

#### 3. 计算图
- **作用**：用于表示数据流和运算关系，是深度学习框架（如TensorFlow、PyTorch）的基础。
- **特点**：通过计算图实现高效的数值计算和自动求导。

#### 4. 向量化
- **优势**：通过向量化操作加速计算，充分利用硬件资源（如GPU）。
- **实现**：将数据和运算表示为矩阵或张量形式，避免循环，提升效率。

#### 总结
本章主要介绍了深度学习编程基础中的核心概念，包括二分类与逻辑回归、梯度下降的三种形式、计算图以及向量化技术。这些内容为后续学习深度学习和神经网络奠定了基础。