Lecture Notes on Gaussian Discriminant Analysis, Naive

• 语言: 英语
• 格式: .pdf
• 来源: funglee.github.io

摘要

文档系统介绍了高斯判别分析（GDA）和朴素贝叶斯（Naive Bayes）的理论基础及其与逻辑回归的关系。通过贝叶斯定理，文档详细推导了GDA模型的参数估计方法，并展示了GDA可以被重新表述为逻辑回归。文档还探讨了GDA和逻辑回归的优缺点，指出GDA在数据符合其假设时效率更高，而逻辑回归在数据偏离假设时更为稳健。此外，文档详细介绍了如何通过EM算法对GDA和朴素贝叶斯模型进行参数估计，强调了条件独立性假设在朴素贝叶斯中的重要性。

AI总结

### 总结

#### 1. 贝叶斯定理与推断
贝叶斯定理用于计算条件概率，公式为：
$$ P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)} $$
在图像识别中，目标是计算图像中是否存在猫的概率：
$$ P(Y=y\mid X=x) $$
通过比较 $ P(Y=1\mid X=x) $ 和 $ P(Y=0\mid X=x) $，可以做出分类决策。由于比较时分母相同，只需计算分子部分。

#### 2. 高斯判别分析（GDA）
GDA假设：
- $ Y $ 服从伯努利分布，$ P(Y=1) = \psi $。
- $ X\mid Y=0 $ 和 $ X\mid Y=1 $ 均服从高斯分布，均值分别为 $\mu_0$ 和 $\mu_1$，协方差矩阵相同为 $\Sigma$。

GDA模型通过极大似然估计求解参数：
- $\psi = \frac{1}{m}\sum_{i=1}^{m}\mathbf{1}\{y^{(i)}=1\}$
- $\mu_0 = \frac{\sum_{i=1}^{m}\mathbf{1}\{y^{(i)}=0\}x^{(i)}}{\sum_{i=1}^{m}\mathbf{1}\{y^{(i)}=0\}}$
- $\mu_1 = \frac{\sum_{i=1}^{m}\mathbf{1}\{y^{(i)}=1\}x^{(i)}}{\sum_{i=1}^{m}\mathbf{1}\{y^{(i)}=1\}}$
- $\Sigma = \frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T$

#### 3. GDA与逻辑回归的关系
GDA和逻辑回归在某些条件下可以等价。GDA假设数据分布为高斯，而逻辑回归假设后验概率为sigmoid函数：
$$ p_{Y\mid X}(1\mid x) = \frac{1}{1 + \exp(\theta^T x)} $$
当数据符合高斯分布时，GDA效率更高；但数据偏离高斯分布时，逻辑回归更稳健。

#### 4. Naive Bayes
Naive Bayes假设特征变量在给定类别下相互独立。其分类概率为：
$$ P(Y=y\mid X=x) = \frac{P(Y=y)\prod_{j=1}^{n}P(X_j=x_j\mid Y=y)}{\sum_{y'=1}^{k}P(Y=y')\prod_{j=1}^{n}P(X_j=x_j\mid Y=y')} $$

#### 5. EM算法
EM算法用于估计隐变量模型的参数，分为E步和M步：
- **E步**：计算隐变量的后验概率。
- **M步**：最大化期望对数似然函数，更新参数。

在GDA和Naive Bayes中，EM算法分别用于处理无标签数据和隐变量问题。

### 核心观点
- 贝叶斯定理是分类任务的基础。
- GDA通过高斯分布建模，适用于符合正态分布的数据。
- 逻辑回归在数据分布不明确时更具鲁棒性。
- Naive Bayes通过独立性假设简化计算，适用于多类别分类。
- EM算法有效处理隐变量，提升模型估计的准确性。