深度学习与PyTorch入门实战 - 24. Logistic Regression

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/dragen1860

摘要

文档介绍了Logistic回归的基本原理及其在PyTorch中的实现。Logistic回归通过使用Sigmoid函数将线性回归的输出转化为概率输出，适用于二分类问题。文档讨论了Logistic回归的目标与方法，包括使用交叉熵损失函数而非准确率作为优化目标，因为准确率在权重变化时可能导致梯度为零或不连续。文档还提到交叉熵损失函数能够更好地衡量模型预测与真实分布之间的差异，并为下一课时介绍了交叉熵的深入内容。

AI总结

# 《深度学习与PyTorch入门实战 - 24. Logistic Regression》总结

## 课程内容概述
本课程主要介绍了**Logistic Regression（逻辑回归）**的核心概念及其在PyTorch中的实现。课程内容围绕以下几方面展开：

---

## 1. **Logistic Regression的核心概念**
- **输入与输出关系**：
对于连续变量，线性回归的输出公式为：
$$ y = xw + b $$
而对于概率输出，使用**sigmoid函数**（或逻辑函数）将线性输出压缩到[0,1]范围内：
$$ y = \sigma(xw + b) $$

- **sigmoid函数的作用**：
sigmoid函数将实数映射到概率空间，便于解释网络输出为概率值：
$$ f: x \rightarrow p(y=1|x) $$
当概率大于0.5时，预测为1；否则预测为0。

---

## 2. **二分类问题的目标函数**
- 在二分类任务中，目标是通过模型预测类别标签。
- 逻辑回归通过最小化预测值与真实值之间的距离来优化模型。
- 常见的损失函数包括：
- **均方误差（MSE）**：适用于回归任务。
- **交叉熵损失（Cross Entropy）**：适用于分类任务。

---

## 3. **损失函数的选择**
- **交叉熵损失**是分类任务中更常用的选择，因为它能够更好地衡量概率分布之间的差异。
- **MSE**更适合回归任务，因为它直接衡量预测值与真实值之间的距离。

---

## 4. **为什么不用准确率作为优化目标？**
- 准确率的计算方式为：
$$ acc = \frac{\sum I(pred_i == y_i)}{len(Y)} $$
- **问题1**：当准确率不变时，权重的改变可能导致梯度为0，无法优化模型。
- **问题2**：准确率是一个离散指标，不连续，导致梯度计算困难。

---

## 5. **网络结构示例**
- **隐藏层**：16个隐藏神经元。
- **输出层**：10个分类器，用于10个数字的分类任务。

---

## 6. **下一节课预告**
- **主题**：交叉熵（Cross Entropy）。
- **目标**：深入理解交叉熵损失函数及其在分类任务中的应用。

---

## 总结
本课程重点介绍了逻辑回归的基本原理及其在分类任务中的应用，强调了sigmoid函数在概率输出中的作用，并讨论了损失函数的选择及其优化目标。下一节课将深入探讨交叉熵损失函数的实现与应用。