Lecture Notes on Linear Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档详细介绍了线性回归的基本概念、模型及其优化方法。线性回归的目标是通过输入特征向量预测连续的输出变量，其假设函数为线性组合。误差函数用于衡量预测值与实际值之间的差异，通常采用最小二乘法来最小化误差。文档讨论了两种优化方法：梯度下降（GD）和随机梯度下降（SGD）。GD通过计算整体误差的梯度来更新参数，而SGD则通过随机选取单个样本的梯度来进行更新，计算成本较低。此外，文档还提供了线性回归的闭式解，即当特征矩阵可逆时，参数可通过正规方程求得。最后，文档从概率角度解释了线性回归，假设输出变量服从高斯分布，并通过极大似然估计推导出最小二乘法的合理性。

AI总结

### 文档总结

#### 1. 线性回归问题
- **目标**：预测一个连续的输出变量 $ y $，给定输入特征向量 $ x \in R^{n} $。
- **假设函数**：线性回归模型的假设函数为 $ h_{\theta}(x) = \theta^{T}x $，其中 $ \theta $ 是参数向量。
- **几何解释**：当 $ n=1 $ 时，假设函数是一条直线；当 $ n=2 $ 时，是平面；当 $ n \geq 3 $ 时，是超平面。
- **训练目标**：通过最小化成本函数 $ J(\theta) = \frac{1}{2}\sum_{i=1}^{m}\left(\theta^{T}x^{(i)}-y^{(i)}\right)^{2} $，找到最优参数 $ \theta $。

#### 2. 梯度下降
- **批梯度下降 (GD)**：使用所有训练数据计算梯度，更新参数。更新规则为 $ \theta \leftarrow \theta - \alpha \nabla J(\theta) $，其中 $ \alpha $ 是学习率。
- **随机梯度下降 (SGD)**：每次仅使用一个训练样本计算梯度，更新参数。计算成本低，但收敛可能不稳定。
- **小批量梯度下降 (Mini-batch SGD)**：随机选择一个小批量训练数据，计算梯度的平均值以加速收敛。

#### 3. 闭式解
- **正规方程**：通过向量化，将线性回归问题转化为 $ \theta = (X^{T}X)^{-1}X^{T}Y $，其中 $ X $ 是输入特征矩阵，$ Y $ 是输出向量。
- **可逆性**：$ X^{T}X $ 可逆的条件是 $ X $ 的列线性无关。

#### 4. 概率解释
- **假设**：输出 $ y $ 是通过线性组合 $ \theta^{T}x $ 加上高斯噪声得到的，即 $ y \mid x;\theta \sim \mathcal{N}(\theta^{T}x, \sigma^{2}) $。
- **似然函数**：最大化似然函数等价于最小化均方误差，从而推导出线性回归的优化目标。

#### 5. 算法总结
- **梯度下降**：通过迭代更新参数，逐步减小成本函数。
- **随机梯度下降**：每次仅用一个样本更新参数，计算成本低，但收敛可能不稳定。

### 核心观点
- 线性回归是一种通过最小化均方误差来预测连续输出变量的回归模型。
- 梯度下降和随机梯度下降是常用的优化算法，各有优缺点。
- 闭式解提供了一种直接求解最优参数的方法，但依赖于矩阵可逆性。
- 线性回归的最小二乘形式合理，源于高斯噪声的假设。

### 关键信息
- **假设函数**：$ h_{\theta}(x) = \theta^{T}x $。
- **成本函数**：$ J(\theta) = \frac{1}{2}\sum_{i=1}^{m}\left(\theta^{T}x^{(i)}-y^{(i)}\right)^{2} $。
- **优化方法**：梯度下降、随机梯度下降、小批量梯度下降。
- **闭式解**：$ \theta = (X^{T}X)^{-1}X^{T}Y $。
- **概率解释**：输出变量服从高斯分布，噪声为独立同分布的高斯变量。