Appendix for SVM

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档主要讨论了支持向量机（SVM）的拉格朗日对偶函数及其推导过程。通过引入拉格朗日乘子α，文档详细推导了拉格朗日对偶函数的表达式，并展示了如何通过SMO算法优化α参数。文档还涉及了核函数K的使用，以及如何通过拉格朗日对偶函数的极值求解过程来实现SVM的优化。

AI总结

### 文档总结

#### 1. SMO 算法
- **目标函数简化**：通过对偶形式的目标函数，将问题简化为仅涉及 $\alpha_1$ 和 $\alpha_2$ 的形式。
- **优化过程**：通过求导找到最优解，推导出 $\alpha_2$ 的表达式，并引入辅助变量 $V_i$ 来简化计算。
- **核心步骤**：
- 表达式推导：$\alpha_1 = (\zeta - \alpha_2 y^{(2)}) y^{(1)}$。
- 目标函数最终形式：$f(\alpha_2)$ 包含核函数 $K_{ij}$ 和辅助变量 $V_i$。
- 优化条件：通过求导并令导数为零，得到 $\alpha_2$ 的具体表达式。

#### 2. 拉格朗日对偶函数
- **推导过程**：
- 通过求解拉格朗日函数对 $\omega$ 和 $b$ 的偏导，得到 $\omega$ 和 $b$ 的表达式。
- 将 $\omega$ 和 $b$ 代入拉格朗日函数，得到对偶形式的目标函数。
- **核心结果**：
- $\omega = \sum_{i=1}^{m} \alpha_i y^{(i)} x^{(i)}$。
- 拉格朗日对偶函数最终形式：$\mathcal{L}(\alpha) = \sum_{i=1}^{m} \alpha_i - \frac{1}{2} \sum_{i=1,j=1}^{m} \alpha_i \alpha_j y^{(i)} y^{(j)} (x^{(i)})^T x^{(j)}$。
- **意义**：通过对偶形式，SVM 问题转化为求解一组拉格朗日乘子 $\alpha_i$ 的问题，为后续优化提供了理论基础。

#### 总结
文档主要围绕 SMO 算法和拉格朗日对偶函数展开，重点推导了 SVM 的对偶形式及其优化方法，为后续的算法实现提供了理论支持。