Lecture 2: Linear Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

The lecture introduces linear regression, a supervised learning method for predicting continuous values. It explains the hypothesis function hθ(x) = θ0 + θ1x and parameter estimation methods. The training process uses input variables (x) and target variables (y) from a dataset, aiming to model their relationship for prediction. Gradient descent and its stochastic variant are discussed as optimization techniques. Additionally, a probabilistic interpretation of linear regression is provided, treating y as a conditional probability distribution given x.

AI总结

以下是对文档内容的简洁明了的总结，重点突出核心观点和关键信息：

---

### 讲座总结：Linear Regression

#### 1. 监督学习的分类
监督学习分为**回归**和**分类**：
- **回归**: 预测连续值（如房价）。
- **分类**: 预测离散值（如类别）。

**训练数据**包括：输入变量(x)和输出变量(y)，目标是通过学习算法找到假设函数h，使其能够根据输入x预测出对应的目标y。

---

#### 2. 线性回归
线性回归的目标是建立x和y之间的线性关系模型。
- **假设函数**: hθ(x) = θ₀ + θ₁x，其中θ₀和θ₁是需要估计的参数。
- **训练集**: 包含m个样本{(x^(i), y^(i))}, x ∈ ℝ，y ∈ ℝ。
- **目标**: 学习参数θ，使模型能够根据新输入x预测出对应的y。

---

#### 3. 梯度下降算法
用于优化参数θ，以最小化模型的误差。
- **批量梯度下降**: 每次迭代使用整个训练集计算误差梯度。
- **随机梯度下降**: 每次迭代仅使用一个训练样本计算梯度，计算效率更高，适合大数据场景。

---

#### 4. 最小二乘法
用于线性回归参数的估计。
- **目标函数**: J(θ) = (1/2m)Σ(y^(i) - (θ₀ + θ₁x^(i)))²。
- **优化目标**: 通过最小化目标函数，找到最佳参数θ₀和θ₁。

---

#### 5. 线性回归的概率解释
将线性回归视为概率模型：
- 假设y|x;θ服从正态分布：y|x;θ ~ N(θᵀx, σ²)。
- **条件概率密度函数**: p(y = y^(i)|x = x^(i); θ) = (1/√(2πσ²))exp(-(y^(i)-θᵀx^(i))²/(2σ²))。
- **似然函数**: L(θ) = ∏ p(y^(i)|x^(i); θ)。
- 通过最大似然估计可以导出最小二乘法，进一步得到参数的估计公式。

---

### 总结
本讲座围绕线性回归展开，涵盖了监督学习的基本概念、线性回归模型的假设、梯度下降优化算法、最小二乘法的目标函数及其优化过程，以及线性回归的概率解释。重点强调了参数估计的方法和模型的优化过程，全面介绍了线性回归的理论基础和实现方法。