## 机器学习-概率论回顾 黄海广 副教授 2021年07月 ## 目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 04 随机变量的数字特征 05 数理统计的基本概念 ### 1. 随机事件和概率 ## 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 04 随机变量的数字特征 05 数理统计的基本概念 数理统计的基本概念 ### 1. 随机事件和概率 ### 1. 事件的关系与运算 (1) 子事件： $ A \subset B $ ，若A发生，则B发生。 (2) 相等事件：A = B，即 $ A \subset B $ ，且 $ B \subset A $ 。 (3) 和事件： $ A \cup B $ （或 $ A + B $ ），A 与 B 中至少有一个发生。 (4) 差事件：A - B，A $ A \cap B = \varnothing, A \cup B = \varOmega, A = \overline{B}, B = \overline{A} $ 。 ### 1. 随机事件和概率 ### 2. 运算律 (1) 交换律： $ A \cup B = B \cup A, A \cap B = B \cap A $ (2) 结合律： $ (A \cup B) \cup C =

审核和修改制作：黄海广 备注：请关注github的更新。 ## CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 ## 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念 来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 ### 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， - 样本空间Ω：随机实验的所有结果的集合。在这里，每个结果 $ w \in \Omega $ 可以被认为是实验结束时现实世界状态的完整描述。

ID，并根据当前安装的抽样策略做出抽样决定。抽样决定被传播到 trace 中的所有后续请求，以便其他服务不会再次做出抽样决定。 分布式追踪平台库支持以下抽样： - Probabilistic（概率）- sampler 做出一个随机抽样决定，其抽样的概率等于 sampling.param 属性的值。例如，使用 sampling.param=0.1 代表大约为 10 个 trace 抽样 1 次。 - Rate Limiting（速率限制） options: {} default\_strategy: service\_strategy:|定义用于追踪的抽样策略的配置选项。||如果没有提供配置，Collector会返回默认的概率抽样策略，所有服务都为0.001(0.1%)概率。| |default\_strategy: type: service\_strategy: type:|要使用的抽样策略。请参阅上述描述。|有效值是probabilist |default\_strategy: param: service\_strategy: param:|所选抽样策略的参数。|小数值和整数值(0,1,1,10)|1| 这个示例定义了一种概率性的默认抽样策略，trace 实例被抽样的几率为 50%。 概率抽样示例 apiVersion: jaegertracing.io/v1 kind: Jaeger metadata: name: with-sampling

你不是一个人在战斗！ haiguang2000@qq.com 最后修改：2018-04-19 ## 目录 机器学习的数学基础.....1 高等数学.....1 线性代数.....9 概率论和数理统计.....19 ## 机器学习的数学基础 ## 高等数学 ### 1. 导数定义： 导数和微分的概念 $$ f^{\prime}(x_{0})=\lim_{\Delta x\t kA(k>0),A^{T},A^{-1},A^{*} $ 正定； $ |A|>0,A $ 可逆； $ a_{ii}>0 $ ，且 $ |A_{ii}|>0 $ 。 ## 概率论和数理统计 ## 随机事件和概率 ### 1. 事件的关系与运算 (1) 子事件： $ A \subset B $ ，若A发生，则B发生。 (2) 相等事件：A = B，即 $ A \subset B $ 两两互斥，且和事件为必然事件，即 $ A_{i}\cap A_{j}=\varnothing,i\neq j,\bigcup_{i=1}^{n}=\varOmega $ ### 5. 概率的基本概念 (1) 概率：事件发生的可能性大小的度量，其严格定义如下： 概率 $ P(g) $ 为定义在事件集合上的满足下面3个条件的函数： 1) 对任何事件 A， $ P(A) \geq 0 $ 2) 对必然事件 $ \Omega

先验概率：根据以往经验和分析得到的概率。我们用 $ P(Y) $ 来代表在没有训练数据前假设Y拥有的初始概率。 后验概率：根据已经发生的事件来分析得到的概率。以 $ P(Y|X) $ 代表假设X成立的情下观察到Y数据的概率，因为它反映了在看到训练数据X后Y成立的置信度。 ### 1. 贝叶斯方法-背景知识 联合概率：联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。X与Y的联合概率表示为 联合概率表示为 $ P(X,Y) $ 、 $ P(XY) $ 或 $ P(X \cap Y) $ 。 假设X和Y都服从正态分布，那么 $ P(X<5,Y<0) $ 就是一个联合概率，表示X<5,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。 ### 1. 贝叶斯方法 ## 贝叶斯公式 }{P(X)}=\frac{P(X|Y)P(Y)}{P(X)} $$ 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 $ P(X,Y) $ ，然后求得后验概率分布 $ P(Y|X) $ 。 具体来说，利用训练数据学习 $ P(X|Y) $ 和 $ P(Y) $ 的估计，得到联合概率分布： $ P(X,Y)=P(X|Y)P(Y) $ ### 2. 朴素贝叶斯原理 01 贝叶斯方法 ##

此行动。 预测市场就是把这个原理用到了未来事件的概率上。当你在预测市场上买入「特朗普赢得2024大选」的合约，你不只是在表达一个观点——你是在用真金白银押注你的判断。如果你有内幕信息、有更好的模型、或者只是对某个选区的选情有直觉性的了解，这个信息就会通过你的交易行为，反映到市场价格上。 千万个这样的交易汇聚在一起，市场价格就变成了一个实时更新的概率估计。 从赌教皇到赌大选：预测市场简史 预测市场的历史其实比大多数人想的要古老得多。 显示Harris和Trump旗鼓相当，不少还给Harris微弱优势。五VeThirtyEight的综合模型给出大约50:50的判断。但Polymarket在选前一周稳定给出Trump 58-60%的概率。最终Trump赢了，而且赢得比多数人预期的更轻松。 CNN选后的报道标题挺能说明问题的：「预测市场看到了民调和专家没看到的东西。」 ·为什么「用钱投票」比「用嘴投票」更靠谱 说到底就一个道理：当 别人也只会说你「运气好」。所以专家预测往往趋向保守的共识。 预测市场正好反过来。你觉得市场严重低估了某个结果的概率？大量买入低价合约就行，判断对了利润很可观。这种机制天然吸引有独家信息或更强分析能力的人参与，他们就是逐利的「聪明钱」，他们的交易行为会不断修正市场价格，把它推向更接近真实概率的位置。 经济学家管这叫「边际交易者假说」：决定市场价格的不是所有参与者的平均水平，而是那些最知情、最积极交易

2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 73 2.6.1 基本概率论 ..... 74 2.6.2 处理多个随机变量 ..... 77 2.6.3 期望和方差 ..... 80 2.7 查阅文档 ..... 81 2.7.1 查找模块中的所有函数和类 5 全局向量的词嵌入 (GloVe) ..... 671 14.5.1 带全局语料统计的跳元模型 ..... 671 14.5.2 GloVe模型 ..... 672 14.5.3 从条件概率比值理解GloVe模型 ..... 672 14.6 子词嵌入 ..... 674 14.6.1 fastText模型 ..... 674 14.6.2 字节对编码 (Byte Pair 为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的概率分布之前，先体会一下训练模型的满足感。 除了提供基本数学背景速成课程的几节初步课程外，后续的每一章都介绍了适量的新概念，并提供可独立工作的例子——使用真实的数据集。这带来了组织上的

地了解算法的相关背景知识，体会到知识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性， 学习的一些主流应用。 #### 1.4.1 计算机视觉 图片识别(Image Classification) 是常见的分类问题。神经网络的输入为图片数据，输出值为当前样本属于每个类别的概率分布。通常选取概率值最大的类别作为样本的预测类别。图片识别是最早成功应用深度学习的任务之一，经典的网络模型有 VGG 系列、ResNet 系列、EfficientNet 系列等。 目标检测(Object Detection) 那么怎么解决这个问题呢？可以将输出设置为 $ d_{out} $ 个输出节点的向量， $ d_{out} $ 与类别数相同，同时让第 $ i\in[1,d_{out}] $ 个输出节点的值表示当前样本属于类别i的概率值 $ P(\mathbf{x} $ 属于类别 $ i|x) $ 。只考虑输入图片属于某一个类别的情况，此时输入图片的真实标签已经唯一确定：如果样本属于第 i 类的话，那么索引为 i 的位置上设置为

机器学习首先要考虑使用什么样的模型。 模型的类别，大致有两种：一是概率模型(Probabilistic Model)和非概率模型(Non-Probabilistic Model)。 在监督学习中，概率模型可被表示为 $ P(y|x) $ ，非概率模型则为 $ y = f(x) $ 。 其中，x是输入，y是输出。 在无监督学习中，概率模型可被表示为 $ P(z|x) $ ，非概率模型则为 $ z = f(x) $ 。 其中，x是输入，z是输出。 ## 机器学习的概念-模型 决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。 感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 3. 机器学习的背景知识-数学基础 ## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x)