机器学习课程-温州大学-03机器学习-逻辑回归

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

本文档介绍了逻辑回归的核心概念及其在分类任务中的应用。逻辑回归通过Sigmoid函数将线性回归转化为概率预测，并定义了损失函数和代价函数以衡量模型性能。其中，Sigmoid函数在逻辑回归中起到将线性变换结果映射到0到1范围的作用，使其适用于二分类任务。此外，文档还提到了正则化技术，用于防止过拟合。分类问题的应用实例包括信用卡违约预测和医学诊断。

AI总结

以下是对文档《机器学习课程-温州大学-03机器学习-逻辑回归》的总结：

---

### 逻辑回归课程总结

本文档主要围绕逻辑回归的核心概念、公式和实现进行讲解，内容结构清晰，分为分类问题、Sigmoid函数、逻辑回归求解和代码实现四个部分。

---

### 1. 分类问题
- **分类的定义**：监督学习的主要类型，用于预测离散标签。
- 示例：根据用户的年龄、职业、存款数判断信用卡是否违约。
- **输入变量**：可以是离散或连续的。
- **二分类模型**：假设类别概率分布为：
- \( p(y=1|x; w) = h(x) \)
- \( p(y=0|x; w) = 1 - h(x) \)

---

### 2. Sigmoid函数
- **定义**：逻辑函数（logistic function），公式为：
\[
g(z) = \frac{1}{1 + e^{-z}}
\]
其中 \( z = w^T x \)。
- **导数**：\( g'(z) = g(z)(1 - g(z)) \)。
- **预测阈值**：当 \( \sigma(z) \geq 0.5 \) 时，预测 \( y = 1 \)；否则预测 \( y = 0 \)。

---

### 3. 逻辑回归求解
- **代价函数**：测量单个样本的损失，公式为：
\[
L(\hat{y}, y) = -y \log(\hat{y}) - (1 - y) \log(1 - \hat{y})
\]
- **代价函数扩展**：对所有训练样本求和并取平均，公式为：
\[
J(w) = \frac{1}{m} \sum_{i=1}^m L(\hat{y}(i), y(i))
\]
- **正则化**：为了防止过拟合，代价函数添加正则化项：
\[
J(w) = \frac{1}{m} \sum_{i=1}^m \left[-y(i)\log h(x(i)) - (1-y(i))\log(1 - h(x(i)))\right] + \frac{\lambda}{2m} \sum_{j=1}^n w_j^2
\]

---

### 4. 逻辑回归代码实现
- **代码结构**：主要包括以下核心部分：
- Sigmoid函数：\( \sigma(z) = \frac{1}{1 + e^{-z}} \)
- 代价函数：根据损失函数和正则化项计算。
- **正则化作用**：通过引入正则化参数 \( \lambda \) 降低模型方差，防止过拟合。

---

### 总结
本文档详细讲解了逻辑回归的核心概念，包括分类问题、Sigmoid函数、损失函数与代价函数的定义及优化，以及代码实现的关键步骤。逻辑回归是一种用于二分类的重要算法，通过对类别概率的建模和优化，能够有效解决实际中的分类问题。