Lecture 5: Gaussian Discriminant Analysis, Naive Bayes

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档主要介绍了高斯判别分析（Gaussian Discriminant Analysis）和朴素贝叶斯（Naive Bayes）的原理及其在分类问题中的应用。内容包括概率论基础、高斯判别分析的数学推导、朴素贝叶斯的条件独立假设以及分类器的实现方法。此外，文档还提到了EM算法在估计模型参数中的应用，并通过具体例子展示了如何基于训练数据进行分类。

AI总结

### 文档总结

本讲座主要介绍了高斯判别分析（Gaussian Discriminant Analysis）、朴素贝叶斯（Naive Bayes）和期望-最大似然（EM）算法的核心内容。

#### 1. 高斯判别分析（Gaussian Discriminant Analysis）
- **模型假设**：
假设类别 $Y$ 的先验概率为 $\psi$ 和 $1-\psi$，且类别 $Y$ 下的条件概率密度 $p_{X|Y}(x|y)$ 服从多元高斯分布，均值为 $\mu_0$ 和 $\mu_1$，协方差矩阵为 $\Sigma$。
- 若 $Y=0$，则 $p_{X|Y}(x|0;\mu_0,\Sigma) = \mathcal{N}(x|\mu_0,\Sigma)$。
- 若 $Y=1$，则 $p_{X|Y}(x|1;\mu_1,\Sigma) = \mathcal{N}(x|\mu_1,\Sigma)$。

- **分类决策边界**：
通过比较两个类别的条件概率与先验概率的乘积，可以得到分类决策边界。最终的分类概率可通过sigmoid函数表示：
$$ p_{Y|X}(1|x) = \frac{1}{1 + \exp(\theta^T x)} $$
其中，$\theta$ 是由均值和协方差矩阵参数化后的线性系数。

- **参数估计**：
通过对数似然函数 $\ell(\psi, \mu_0, \mu_1, \Sigma)$ 求导并令导数为零，可以得到参数的极大似然估计。

#### 2. 朴素贝叶斯（Naive Bayes）
- **核心假设**：
在给定类别 $Y$ 的条件下，各个特征 $X_j$ 是相互独立的，即 $X_j$ 和 $X_{j'}$ 条件独立于 $Y$。
$$ P(X_1=x_1, X_2=x_2, \cdots, X_n=x_n | Y=y) = \prod_{j=1}^n P(X_j=x_j | Y=y) $$

- **分类输出**：
朴素贝叶斯通过最大化后验概率进行分类：
$$ \arg\max_{y \in \{0,1\}} \left( p(y) \prod_{j=1}^n p_{X_j|Y}(x_j | y) \right) $$

#### 3. EM算法（Expectation-Maximization Algorithm）
- **用途**：
用于估计包含隐变量的模型参数，例如混合高斯模型中的类别标签。
- **基本步骤**：
- **E步**：计算隐变量的期望。
- **M步**：最大化期望的似然函数。

---

### 总结
本讲座重点介绍了高斯判别分析和朴素贝叶斯的核心思想及其在分类任务中的应用，并简要提到了EM算法在隐变量模型中的作用。高斯判别分析通过线性分类边界实现概率分类，而朴素贝叶斯通过条件独立假设简化计算，适用于特征维度较高的场景。EM算法则为隐变量模型提供了参数估计的框架。