Experiment 1: Linear Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档主要介绍了线性回归的实验，包括线性回归模型的实现、梯度下降算法的应用、代价函数的理解以及多元线性回归的实践。文档详细说明了如何使用Matlab或Octave进行线性回归，包括数据的加载、特征向量的构造、梯度下降的实现、代价函数的计算与可视化，以及多元回归中的数据标准化和学习率的选择。实验还涉及了对模型的预测和对结果的分析。

AI总结

### 文档总结

#### 1. 实验概述
本实验旨在通过线性回归练习使用梯度下降算法优化参数。实验支持使用 Matlab 或 Octave，其中 Octave 需要安装 Image 包。实验数据包括男孩年龄与身高中数据集（ex1x.dat 和 ex1y.dat）以及房屋价格数据集（ex2x.dat 和 ex2y.dat）。

---

#### 2. 线性回归基础
线性回归模型为：
$$ h_{\theta}(x) = \theta^T x = \sum_{j=0}^{n} \theta_j x_j $$
目标是最小化成本函数：
$$ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)})^2 $$
通过梯度下降算法优化参数：
$$ \theta_j := \theta_j - \alpha \frac{1}{m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)} $$
其中，$\alpha$ 是学习率。

---

#### 3. 2D 线性回归案例
实验使用男孩年龄与身高中数据集（50 个样本），目标是通过线性回归预测身高。实验步骤包括：
1. 初始化参数 $\theta = \vec{0}$，运行梯度下降算法。
2. 迭代约 1500 次，记录收敛后的 $\theta_0$ 和 $\theta_1$，并绘制拟合直线。
3. 使用模型预测 3.5 岁和 7 岁男孩的身高。

---

#### 4. 成本函数 $J(\theta)$ 的可视化
通过 3D 表面图和等高线图可视化 $J(\theta)$ 的关系。代码生成 100x100 的网格，计算每个点的成本值，并使用 `surf` 和 `contour` 命令绘制图形。实验表明，梯度下降算法能够找到 $J(\theta)$ 的最小值。

---

#### 5. 多变量线性回归
实验扩展到多变量情况，使用房屋价格数据集（47 个样本），特征包括居住面积和卧室数量。实验步骤包括：
1. 数据预处理：归一化特征（减去均值，除以标准差）。
2. 选择合适的学习率 $\alpha$（范围：$0.001 \leq \alpha \leq 10$）。
3. 使用梯度下降算法优化参数，并绘制成本函数随迭代次数的变化。

---

#### 核心观点
- 线性回归通过最小化成本函数 $J(\theta)$ 实现参数优化。
- 梯度下降算法是常用的优化方法，学习率 $\alpha$ 影响收敛速度。
- 数据预处理（如归一化）可提高算法效率。
- 可视化成本函数有助于理解算法行为。

总结通过理论推导和实践案例，展示了线性回归在不同数据集上的应用。