机器学习课程-温州大学-04机器学习-朴素贝叶斯

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了贝叶斯方法及其在机器学习中的应用，重点讲解了朴素贝叶斯的原理、生成模型与判别模型的区别，以及不同类型的贝叶斯分类器（如高斯贝叶斯、多项式贝叶斯和伯努利贝叶斯）。文档还提供了高斯朴素贝叶斯分类器的代码实现示例，展示了其在实际数据分类中的应用。

AI总结

### 《机器学习课程-温州大学-04机器学习-朴素贝叶斯》总结

#### 1. 贝叶斯方法

- **贝叶斯分类**：基于贝叶斯定理的分类算法。
- **先验概率**：初始概率，如 $P(Y)$。
- **后验概率**：观察到数据后的概率，如 $P(Y|X)$。
- **联合概率分布**：$P(X,Y)=P(X|Y)P(Y)$。

#### 2. 朴素贝叶斯原理

- **生成模型**：学习联合概率分布 $P(X,Y)$，推导后验概率 $P(Y|X)$。
- **判别模型**：直接学习条件概率分布 $P(Y|X)$。
- **核心假设**：特征条件独立（朴素贝叶斯假设）。
- **优点**：高效、易于实现。
- **缺点**：分类性能可能受限。

#### 3. 朴素贝叶斯案例

- **文本分类**：多项式贝叶斯（MultinomialNB）。
- **二元特征分类**：伯努利贝叶斯（BernoulliNB）。
- **数值特征分类**：高斯贝叶斯（GaussianNB）。

#### 4. 代码实现

- **GaussianNB**：适用于数值型特征。
- **代码示例**：

  import numpy as np
  from sklearn.naive_bayes import GaussianNB

  X = np.array([[ -1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
  Y = np.array([1, 1, 1, 2, 2, 2])

  clf = GaussianNB()
  clf.fit(X, Y)

  print("Predict result by predict=", clf.predict([[ -0.8, -1]]))
  print("Predict result by predict_proba=", clf.predict_proba([[ -0.8, -1]]))
  print("Predict result by predict_log_proba=", clf.predict_log_proba([[ -0.8, -1]]))

#### 总结

朴素贝叶斯是一种基于贝叶斯定理的生成模型，通过假设特征独立性简化计算。尽管存在假设限制，但在实际应用中表现良好，适用于多种数据类型。代码实现简单高效，如GaussianNB适用于数值型特征。