Lecture 6: Support Vector Machine

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档详细讲解了支持向量机（SVM）的核心理论与应用。首先介绍了SVM的原始形式及其优化问题，指出其为一个二次规划问题，并讨论了多种求解方法。接着阐述了通过核方法将线性模型扩展到非线性数据的方法，强调了核化SVM在处理复杂数据模式时的优势。此外，文档还介绍了软边界SVM，允许部分数据点不被正确分类，从而提高了模型的泛化能力。最后，提到了Sequential Minimal Optimization（SMO）算法，这是一种高效的SVM训练方法。

AI总结

# 支持向量机（SVM）总结

## 1. SVM 基本概念
- **目标**：通过最大化分类间隔（margin）来学习一个线性分类器，由权重向量 $\omega$ 和偏置 $b$ 定义。
- **分类规则**：$y = \text{sign}(\omega^T x + b)$。
- **优化目标**：最大化 $1/\|\omega\|$，等价于最小化 $\|\omega\|^2 = \omega^T \omega$。
- **约束条件**：$y^{(i)}(\omega^T x^{(i)} + b) \geq 1, \forall i$。
- **问题类型**：二次规划（QP）问题。

## 2. 线性不可分数据的处理
- **核方法**：通过核函数将数据映射到高维空间，使非线性问题转化为线性问题。
- **核化 SVM 预测**：利用支持向量和拉格朗日乘子进行预测，避免显式计算高维特征向量。
- **核函数的作用**：将线性模型扩展到非线性数据，通过内积操作实现。

## 3. 软边界 SVM
- **核心思想**：允许部分训练数据被错误分类，或位于间隔区域内。
- **松弛约束**：通过引入误差项 $\xi$，将硬边界问题转化为软边界问题。
- **目标函数**：最小化 $\|\omega\|^2 + C \sum_{i=1}^m \xi_i$，平衡模型复杂度和分类误差。

## 4. SMO 算法
- **优化方法**：将原始的 QP 问题分解为子问题，逐个求解，提高计算效率。
- **优点**：特别适用于大数据集，避免了低效的通用 QP 解决方法。

## 5. 核心观点
- SVM 通过最大化分类间隔实现了良好的泛化能力。
- 核方法解决了非线性分类问题，软边界处理了不可分数据。
- SMO 算法提供了高效的优化解决方案。

---

总结：支持向量机（SVM）通过优化分类间隔和引入核方法，有效处理线性与非线性分类问题。软边界 SVM 允许误差，提升了模型的鲁棒性，而 SMO 算法则为高效求解提供了保障。