Lecture 3: Logistic Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档主要介绍了Logistic回归的基本概念和应用。Logistic回归是一种用于分类的统计方法，通过Sigmoid函数将线性回归的输出映射到概率空间。文档详细阐述了Logistic回归的假设、极大似然估计的损失函数、梯度上升的优化方法以及决策边界的定义。此外，还讨论了多类别分类的处理方式，指出Logistic回归主要用于二分类问题，并通过实例展示了其在概率预测中的应用。

AI总结

## 《Lecture 3: Logistic Regression》总结

### 核心观点

1. **Logistic回归的应用**：
- 用于二分类问题，通过Sigmoid函数将线性回归的输出压缩到0到1之间，表示概率。
- 假设函数：\( h_{\theta}(x) = \frac{1}{1 + e^{-\theta^T x}} \)，表示y=1的概率。

2. **损失函数与优化**：
- 使用对数似然函数：\( \ell(\theta) = \sum_{i=1}^{m} \left( y^{(i)} \log h(x^{(i)}) + (1 - y^{(i)}) \log (1 - h(x^{(i)}) \right) \)。
- 采用梯度上升算法优化参数θ，梯度计算公式为：\( \frac{\partial}{\partial \theta_j} \ell(\theta) = \sum_{i=1}^{m} (y^{(i)} - h_{\theta}(x^{(i)})) x_j^{(i)} \)。

3. **决策边界**：
- 决策边界由线性方程θ^T x = 0决定，将特征空间划分为两个区域，分别对应预测类别0和1。

### 关键信息

- **Sigmoid函数**：\( g(z) = \frac{1}{1 + e^{-z}} \)，将线性输出转换为概率。
- **梯度推导**：通过链式法则计算损失函数对参数θ的梯度，最终简化为\( (y - hθ(x))x \)。
- **对数似然函数**：最大化对数似然等价于最小化损失函数，是Logistic回归的核心优化目标。

### 总结

Logistic回归通过Sigmoid函数将线性回归结果转化为概率，适用于二分类问题。其损失函数通过对数似然函数定义，通过梯度上升算法优化参数。决策边界为线性超平面，将数据分为两类。理解这些核心概念和推导过程，有助于掌握Logistic回归的基本原理和应用。