机器学习课程-温州大学-09机器学习-支持向量机

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档介绍了支持向量机（SVM）的核心概念及相关类型。SVM是一种监督学习方法，用于二元分类，通过求解最大边距超平面作为决策边界。在处理非线性数据时，SVM提供了更清晰和强大的方式。硬间隔支持向量机适用于线性可分数据，而软间隔允许一定的分类错误，适用于线性不可分的情况。支持向量是定义决策面的关键点，确保它们到超平面的距离最大。文档还详细讨论了支持向量的算法思想及其在不同分类情况下的应用。

AI总结

### 《机器学习课程-温州大学-09机器学习-支持向量机》总结

1. **支持向量机概述**
- 支持向量机（Support Vector Machine, SVM）是一种监督学习算法，用于二元分类问题。
- 其核心目标是通过求解最大边距超平面（maximum-margin hyperplane）来实现分类。
- 相比逻辑回归和神经网络，SVM在处理复杂非线性问题时提供了更清晰和强大的方式。
- 支持向量是指位于决策边界附近的关键数据点，能够最大化决策面与数据点之间的距离。
- SVM分为硬间隔（硬间隔：数据完全线性可分，分类无误）和软间隔（软间隔：允许一定误差）两种情况。

2. **线性可分支持向量机**
- 硬间隔支持向量机适用于数据完全线性可分的情况。
- 超平面方程为 \(w^Tx + b = 0\)，数据点到该超平面的距离公式为 \(\frac{|w^Tx + b|}{\|w\|}\)。
- 目标是最大化间距 \(d = \frac{1}{\|w\|}\)，通过优化问题求解权重向量 \(w\) 和偏置 \(b\)。
- 支持向量是距离超平面最近的点，满足 \(y(w^Tx + b) = 1\)。
- 通过拉格朗日乘数法，将问题转化为优化问题，约束条件为 \(y_i(w^Tx_i + b) \geq 1\)。

3. **线性支持向量机**
- 求解过程中，通过优化问题得到权重向量 \(w^* = \sum_{i=1}^m \alpha_i^* y_i x_i\) 和偏置 \(b^*\)，其中 \(0 < \alpha_i^* < C\)。
- 模型的最终形式为 \(w^*x + b^* = 0\)，分类决策基于 \(y(w^*x + b^*)\) 的符号。

4. **线性不可分支持向量机**
- 当数据无法线性分离时，可以通过引入核函数或软间隔机制扩展SVM，实现非线性分类。

### 总结
支持向量机通过寻找最大间距超平面实现分类，适用于线性可分和不可分数据的情况。在线性可分时，通过硬间隔模型求解；在非线性或不可分时，通过软间隔或核函数扩展其适用性。SVM的核心思想是利用支持向量构建决策边界，具有高效性和强大的分类能力。