机器学习课程-温州大学-09机器学习-支持向量机

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档介绍了支持向量机（SVM）的基本概念和应用。支持向量机是一种用于二元分类的广义线性分类器，其决策边界是最大边距超平面。文档讨论了线性可分和不可分的情况，介绍了硬间隔和软间隔的概念，并提供了选择不同核函数的准则。此外，还解释了惩罚系数C的作用，指出C越高越容易过拟合，C越低越容易欠拟合。

AI总结

### 文档总结

#### 支持向量机（SVM）概述
支持向量机（Support Vector Machine, SVM）是一种监督学习算法，主要用于二元分类。其核心思想是通过最大化分类边距（最大边距超平面）来实现分类。与逻辑回归和神经网络相比，SVM在处理复杂的非线性问题时更加清晰和强大。

#### 核函数与非线性分类
1. **核函数**：SVM通过核函数将数据映射到高维空间，以解决非线性可分问题。常用的核函数包括：
- **线性核函数**：适用于低维数据。
- **多项式核函数**：适用于高维数据。
- **高斯核函数**：需要调参，适用于复杂的非线性问题。

2. **软间隔与硬间隔**：
- **硬间隔**：数据完全线性可分，不允许分类错误。
- **软间隔**：允许一定量的分类错误，适用于实际问题中的非完全线性可分数据。

#### 超参数与调优
- **惩罚系数C**：C越高，模型越难以容忍误差，容易过拟合；C越低，容易欠拟合。
- **核函数参数γ**：γ越大，支持向量越少；γ越小，支持向量越多。

#### 使用准则
根据特征数n和训练样本数m选择模型：
1. 如果n远大于m，使用逻辑回归或线性SVM。
2. 如果n小且m适中（n在1-1000，m在10-10000），使用高斯核函数SVM。
3. 如果n小且m很大（m>50000），使用逻辑回归或线性SVM，并考虑增加特征。

#### 线性可分与不可分
- **线性可分**：数据完全可以用超平面分类。
- **线性不可分**：数据无法用超平面完全分类，需使用软间隔或非线性核函数。

总结：SVM在分类任务中表现优异，核心在于选择合适的核函数和调优超参数C和γ，以平衡模型的泛化能力和训练效率。