Experiment 1: Linear Regression

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档介绍了一个线性回归实验，练习使用Matlab或Octave工具实现梯度下降算法。实验包括初始化参数，运行梯度下降，记录参数变化，进行预测，以及可视化目标函数的轨迹。目标函数定义为预测值与真实值的均方差，通过迭代更新参数以最小化误差。在实验中，使用一个简单的二维线性回归模型，包括预处理数据和可视化效果。

AI总结

## 《实验1：线性回归》总结

### 1. 实验概述
本实验旨在通过线性回归模型和梯度下降算法，让读者了解和实践线性回归的基础知识。实验支持Matlab或Octave（“免费版的Matlab”）等工具，重点是在单一特征的情况下实现线性回归，并对结果进行可视化分析。

---

### 2. 线性回归模型
线性回归模型表达式为：
\[ h_\theta(x) = \theta^T x = \theta_0 x_0 + \theta_1 x_1 + \dots + \theta_n x_n \]
其中，$\theta$是待优化的参数，$x$是$(n+1)$维特征向量（包括截距项$x_0=1$）。

目标是通过最小化代价函数：
\[ J(\theta) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 \]
来求解最优参数$\theta$。

梯度下降的更新规则为：
\[ \theta_j := \theta_j - \alpha \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x^{(i)}_j \]
其中，$\alpha$是学习率，控制收敛速度。

---

### 3. 实验任务
#### （1）梯度下降的实现
- 使用学习率$\alpha = 0.07$，初始化$\theta = [0, 0]$，运行一次迭代并记录$\theta_0$和$\theta_1$的值。
- 持续迭代约1500次，直到参数$\theta$收敛，记录收敛后的$\theta_0$和$\theta_1$，并将拟合直线与训练数据绘制在同一图上。

#### （2）代价函数可视化
- 将代价函数$J(\theta)$绘制为3D平面图和等高线图，观察$J(\theta)$在不同$\theta_0$和$\theta_1$值下的变化形态。通过对比，可以验证梯度下降算法是否成功收敛到最小值。

#### （3）模型预测
- 使用训练好的模型，预测年龄为3.5岁和7岁男孩的身高。

---

### 4. 多变量线性回归
在多变量线性回归中，输入特征的数量增加（如房价数据集中的“生活面积”和“卧室数量”）。为了提高梯度下降效率，需要对输入特征进行归一化处理：
\[ x_{\text{归一化}} = \frac{x - \text{均值}}{\text{标准差}} \]

---

### 5. 实验结果与分析
- 代价函数$J(\theta)$的3D可视化显示，$J(\theta)$在$\theta_0$和$\theta_1$空间中具有一个明显的最小值，gradient descent会沿着该曲面的斜率方向向最小值移动。
- 通过调整学习率$\alpha$，观察代价函数的收敛速度，选择合适的$\alpha$以加速收敛。

---

### 6. 数据与可视化
- 数据集包括：
- 单变量（2-8岁男孩的身高与年龄）。
- 多变量（波特兰房价数据，包含“生活面积”和“卧室数量”）。
- 数据可视化（如散点图）是验证模型的重要工具，尤其是在低维特征空间中。

---

### 总结
本实验通过线性回归模型和梯度下降算法，实现了对训练数据的拟合与预测，并通过可视化代价函数加深了对优化过程的理解。结果表明，合理选择学习率和特征归一化能够显著提高梯度下降的效率和效果。