机器学习课程-温州大学-02-数学基础回顾-2.CS229-Prob

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

本文是斯坦福大学CS229机器学习课程的概率论复习材料，主要介绍了概率论的基本要素、随机变量及其分布、两个随机变量的联合与边缘分布、条件概率与贝叶斯定理、独立性、期望与协方差，以及多元高斯分布等内容。文档强调了概率论在机器学习中的重要性，并提供了相关的数学基础，如联合概率密度函数、边缘概率密度函数、条件概率分布公式等。同时，文档还讨论了随机变量的独立性及其在机器学习中的应用，以及多元高斯分布的定义和性质。

AI总结

### 概率论基础总结

#### 1. 概率的基本要素
- **样本空间（Ω）**：随机实验所有可能结果的集合。
- **事件空间（F）**：Ω的子集，表示实验可能的结果。
- **概率度量（P）**：满足非负性、归一化和可列可加性的函数。

#### 2. 随机变量
- **离散随机变量**：取有限或可数无穷多个值，如伯努利、二项式、几何分布和泊松分布。
- **概率质量函数（PMF）**：描述随机变量取特定值的概率。
- **期望（均值）**：长期实验中平均值的期望。
- **方差**：衡量随机变量取值的离散程度。
- **连续随机变量**：取区间内任意值，如均匀分布、高斯分布和指数分布。
- **概率密度函数（PDF）**：描述随机变量在某点附近取值的概率密度。
- **期望**：积分形式计算。
- **方差**：衡量数据的离散程度。

#### 3. 两个随机变量
- **联合分布**：描述两个随机变量同时取值的概率。
- **联合PMF/PDF**：离散/连续情况下描述联合概率。
- **边缘分布**：通过联合分布得到单一变量的分布。
- **条件概率**：已知一个事件发生时，另一个事件发生的概率。
- **条件概率公式**：离散/连续情况下的计算方式。
- **贝叶斯定理**：用于计算在已知某些条件下事件的概率，公式为：
\[
P(Y|X) = \frac{P(X|Y)P(Y)}{\sum P(X|Y')P(Y')}
\]
- **独立性**：两个变量的联合概率等于各自概率的乘积，即：
\[
P(X,Y) = P(X)P(Y)
\]

#### 4. 多个随机变量
- **联合概率密度函数**：描述多个随机变量的联合分布。
- **边缘概率密度函数**：通过积分得到单一变量的分布。
- **条件概率分布**：在已知部分变量取值时的条件概率。
- **协方差**：衡量两个变量的线性相关性，计算公式为：
\[
Cov(X,Y) = E[(X-E[X])(Y-E[Y])]
\]
- **多元高斯分布**：适用于多个变量的正态分布，概率密度函数为：
\[
f(x;\mu,\Sigma) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right)
\]
其中，μ为均值向量，Σ为协方差矩阵。

#### 5. 其他资源
- 推荐谢尔顿·罗斯的《概率第一课》作为学习概率论的基础教材。

### 总结
概率论是机器学习的基础，涉及随机变量、联合分布、条件概率、独立性以及多元高斯分布等核心概念。掌握这些知识有助于理解机器学习算法的推导和应用。