机器学习课程-温州大学-02机器学习-回归

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了机器学习中的回归相关知识，包括线性回归的基本概念、梯度下降算法、正则化方法以及回归的评价指标。线性回归用于预测连续型变量，如房价或股票市场走向。梯度下降是一种优化算法，用于最小化损失函数。正则化技术用于防止过拟合，通过在损失函数中添加惩罚项来降低模型复杂度。回归的评价指标包括均方误差（MSE）、平均绝对误差（MAE）、均方根误差（RMSE）和R方（R²），其中R²值越接近1，模型拟合效果越好。

AI总结

## 《机器学习课程-温州大学-02机器学习-回归》总结

### 1. 回归的概念
- **回归**属于监督学习，用于预测连续值，如房价预测。
- **分类**用于预测离散值，如判断肿瘤良恶性。

### 2. 线性回归
- **损失函数**：均方误差（MSE），公式为：
$$
\mathrm{MSE} = \frac{1}{m}\sum_{i=1}^{m}(y^{(i)} - \widehat{y}^{(i)})^{2}
$$

### 3. 梯度下降
- **优化算法**，用于最小化损失函数，更新模型参数。

### 4. 正则化
- **L2正则化**：防止过拟合，增加参数平方的惩罚项。
- **L1正则化**：使参数稀疏，便于特征选择。

### 5. 回归的评价指标
- **均方误差（MSE）**：衡量预测值与真实值的平均平方差。
- **平均绝对误差（MAE）**：衡量预测值与真实值的平均绝对差。
- **均方根误差（RMSE）**：MSE的平方根，结果与原始数据单位一致。
- **R方（R²）**：衡量模型解释的变异性，越接近1说明拟合越好，公式为：
$$
\mathrm{R}^{2} = 1 - \frac{\mathrm{SSE}}{\mathrm{SST}}
$$

### 6. 过拟合与欠拟合
- **过拟合**：模型在训练数据上表现好，但在测试数据上表现差。
- **欠拟合**：模型在训练数据上表现差，无法有效捕捉数据模式。
- **正合适**：模型在训练和测试数据上表现均较好。

### 总结
本章介绍了回归的基本概念、线性回归模型、优化算法梯度下降、正则化方法以及回归模型的评价指标。理解这些内容对掌握回归分析的基础至关重要，也是进一步学习机器学习其他算法的基础。