机器学习课程-温州大学-06深度学习-优化算法

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了深度学习中的优化算法相关内容。首先，小批量梯度下降作为一种介于批量梯度下降和随机梯度下降之间的方法，能够平衡计算效率和模型准确性的更新。其次，优化算法部分讨论了加速模型训练和提高收敛效率的方法。BatchNorm（批量归一化）技术通过稳定每层输入数据的分布、简化网络参数敏感性、缓解梯度消失问题以及提供正则化效果，显著提升了模型的训练稳定性。超参数调整部分介绍了对数标尺搜索方法，以更合理地分配搜索资源。最后，Softmax函数作为多分类任务中的关键工具，用于输出层的分类概率计算。

AI总结

# 《机器学习课程-温州大学-06深度学习-优化算法》

## 课程信息
- **课程名称**：深度学习-优化算法
- **授课教师**：黄海广 副教授
- **时间**：2023年04月

## 本章目录
1. 小批量梯度下降
2. 优化算法
3. 超参数调整和BatchNorm
4. Softmax

---

## 1. 小批量梯度下降（Mini-batch Gradient Descent）
- 结合批量梯度下降和随机梯度下降的优点：
- 稳定性：缓解随机梯度下降的噪声问题。
- 计算效率：比批量梯度下降更快。
- 内存使用：适合处理大规模数据。

---

## 2. 优化算法
- **案例：伦敦温度预测**
- 数据示例：
$$ \theta_{1}=40^{\circ}\mathrm{F} $$
$$ \theta_{2}=49^{\circ}\mathrm{F} $$
$$ \theta_{3}=45^{\circ}\mathrm{F} $$
$$ \theta_{180}=60^{\circ}\mathrm{F} $$
$$ \theta_{181}=56^{\circ}\mathrm{F} $$
- 应用场景：回归问题，预测温度变化。

---

## 3. 超参数调整和BatchNorm
### 超参数调整方法
- **对数标尺搜索**：
- 学习率（α）范围：0.0001到1。
- 在对数标尺上均匀随机取点，分配更多资源到低值范围（如0.0001到0.001）。

### BatchNorm的作用
1. **加速学习速度**：每层输入分布更稳定，加快模型训练。
2. **简化调参**：降低对网络参数的敏感性，提升稳定性。
3. **缓解梯度消失问题**：允许使用饱和激活函数（如sigmoid、tanh）。
4. **正则化效果**：具有一定的正则化作用，减少过拟合。

---

## 4. Softmax
- **用途**：多分类任务中输出概率分布。
- **特点**：输出概率和为1，便于分类决策。
- **应用**：广泛用于分类问题，如图像分类。

---

## 总结
本章重点介绍了深度学习中的优化算法，包括小批量梯度下降、超参数调整方法（对数标尺搜索）、BatchNorm技术及其作用，以及Softmax函数的应用。通过案例和理论结合，为模型优化提供了实用指导。