## 机器学习-概率论回顾 黄海广 副教授 2021年07月 ## 目录 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 04 随机变量的数字特征 05 数理统计的基本概念 ### 1. 随机事件和概率 ## 01 随机事件和概率 02 随机变量及其概率分布 03 多维随机变量及其分布 04 随机变量的数字特征 05 数理统计的基本概念 数理统计的基本概念 ### 1. 随机事件和概率 ### 1. 事件的关系与运算 (1) 子事件： $ A \subset B $ ，若A发生，则B发生。 (2) 相等事件：A = B，即 $ A \subset B $ ，且 $ B \subset A $ 。 (3) 和事件： $ A \cup B $ （或 $ A + B $ ），A 与 B 中至少有一个发生。 (4) 差事件：A - B，A $ A \cap B = \varnothing, A \cup B = \varOmega, A = \overline{B}, B = \overline{A} $ 。 ### 1. 随机事件和概率 ### 2. 运算律 (1) 交换律： $ A \cup B = B \cup A, A \cap B = B \cap A $ (2) 结合律： $ (A \cup B) \cup C =

2.5.1. 部署最佳实践 ..... 26 3.2.5.2. 分布式追踪默认配置选项 26 3.2.5.3. Jaeger Collector 配置选项 28 3.2.5.4. 分布式追踪抽样配置选项 29 3.2.5.5. 分布式追踪存储配置选项 31 3.2.5.5.1. 自动置备 Elasticsearch 实例 32 3.2.5.5.2. 连接到现有 Elasticsearch UI，所以此部署的配置必须在allInOne参数下嵌套组件配置。|| ||agent:|定义代理的配置选项。|| ||collector:|定义JaegerCollector的配置选项。|| ||sampling:|定义用于追踪的抽样策略的配置选项。|| ||storage:|定义存储的配置选项。所有与存储相关的选项都必须放在storage下，而不是放在allInOne或其他组件选项下。|| ||query:|定义Query服务的配置选项。|| ic。| ###### 3.2.5.4. 分布式追踪抽样配置选项 Red Hat OpenShift distributed tracing Platform Operator 可用于定义抽样策略，以提供给已经被配置为使用远程 sampler 的 tracer。 虽然生成了所有 trace，但只有几个会被抽样。对某个 trace 进行抽样会标记该 trace 用于进一步处理和存储。 ![Im

审核和修改制作：黄海广 备注：请关注github的更新。 ## CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 ## 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念 来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 ### 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， - 样本空间Ω：随机实验的所有结果的集合。在这里，每个结果 $ w \in \Omega $ 可以被认为是实验结束时现实世界状态的完整描述。

你不是一个人在战斗！ haiguang2000@qq.com 最后修改：2018-04-19 ## 目录 机器学习的数学基础.....1 高等数学.....1 线性代数.....9 概率论和数理统计.....19 ## 机器学习的数学基础 ## 高等数学 ### 1. 导数定义： 导数和微分的概念 $$ f^{\prime}(x_{0})=\lim_{\Delta x\t kA(k>0),A^{T},A^{-1},A^{*} $ 正定； $ |A|>0,A $ 可逆； $ a_{ii}>0 $ ，且 $ |A_{ii}|>0 $ 。 ## 概率论和数理统计 ## 随机事件和概率 ### 1. 事件的关系与运算 (1) 子事件： $ A \subset B $ ，若A发生，则B发生。 (2) 相等事件：A = B，即 $ A \subset B $ 两两互斥，且和事件为必然事件，即 $ A_{i}\cap A_{j}=\varnothing,i\neq j,\bigcup_{i=1}^{n}=\varOmega $ ### 5. 概率的基本概念 (1) 概率：事件发生的可能性大小的度量，其严格定义如下： 概率 $ P(g) $ 为定义在事件集合上的满足下面3个条件的函数： 1) 对任何事件 A， $ P(A) \geq 0 $ 2) 对必然事件 $ \Omega

allInOne 参数下嵌套组件配置。||| |agent:|定义代理的配置选项。||| |collector:|定义 Jaeger Collector 的配置选项。||| |sampling:|定义用于追踪的抽样策略的配置选项。||| |storage:|定义存储的配置选项。所有与存储相关的选项都必须放在 storage 下，而不是放在 allInOne 或其他组件选项下。||| |query:|定义 Query > ###### 3.2.6.4. 分布式追踪抽样配置选项 Red Hat OpenShift distributed tracing Platform (Jaeger) Operator 可用于定义抽样策略，以提供给配置为使用远程 sampler 的 tracer。 虽然生成了所有 trace，但只有几个会被抽样。对某个 trace 进行抽样会标记该 trace 用于进一步处理和存储。 代理启动，则不会相关，因为抽样决定是在那里做出的。只有在应用程序使用客户端启动 trace 时，Jaeger 抽样决定才相关。 当服务收到不包含 trace 上下文的请求时，客户端会启动新的 trace，为它分配一个随机 trace ID，并根据当前安装的抽样策略做出抽样决定。抽样决定被传播到 trace 中的所有后续请求，以便其他服务不会再次做出抽样决定。 分布式追踪平台(Jaeger)库支持以下抽样： -

$ 时, 频率一定收敛到某个值 概率:频率收敛到的值, 性质之一: $ 0 \leq P(A) \leq 1 $ • 独立:两个事件互不影响, 性质之一: $ P(AB)=P(A)P(B) $ 随机变量: 是一个函数, 参数是所有可能的样本, 返回值是这些样本的取值, 例如 $ P(X = 2) = 0.25 $ ● 期望:随机变量以其概率为权重的加权平均值, 即 $ E(X)=\sum 方差:样本取值与期望之间的「距离」，距离定义为差的平方和，即 $ Var(X)=\sum(x_{i}-E(X))^{2} $ 概率密度函数: 是一个函数, 参数是随机变量取值, 返回值是随机变量取得该值的概率 ● 累积分布函数: 随机变量取值小于某个值的概率 • 正态分布:一种特殊的概率密度函数 $ N(\mu,\sigma^{2}) $ • 中心极限定理:无穷多个独立的随机变量的和服从正态分布 ## ## 检验的类型 - 统计是一套在总体分布函数完全未知或者只知道形式、不知参数的情况下，为了由样本推断总体的某些未知特性，形成的一套方法论。 ● 多次抽样: 对同一个性能基准测试运行多次, 根据中心极限定理, 如果理论均值存在, 则抽样噪声服从正态分布的。 - 当重复执行完某个性能基准测试后，benchstat 先帮我们剔除掉了一些异常值，我们得到了关于某段代码在可控的环境条件 E 下的性能分布的一组样本。

tracing 中配置。目前，Jaeger 是唯一支持的 tracer 类型。sampling 是一个缩放整数，代表 0.01% 增长，例如：1 为 0.01%，10000 为 100%。可以指定追踪实施和抽样率： spec: tracing: sampling: 100 # 1% type: Jaeger Jaeger 在 ServiceMeshControlPlane 资源的 addons 部分进行配置。 ne 资源已被正确配置。 ###### 1.15.4.2. 调整抽样率 trace 是服务网格中服务间的执行路径。一个 trace 由一个或多个范围组成。span 是具有名称、开始时间和持续时间的逻辑工作单元。抽样率决定了 trace 的持久性频率。 Envoy 代理抽样率默认设置为服务网格中 trace 的 100%。高抽样率会消耗集群资源和性能，但在调试问题时很有用。在生产环境中部署 Red OpenShift Service Mesh 前，请将值设置为较小的 trace 部分。例如，将 spec.tracing.sampling 设置为 100 来示例 trace 的 1%。 将 Envoy 代理抽样率配置为代表 0.01% 增量的扩展整数。 在基本安装中，spec.tracing.sampling 设置为 10000，这代表 100% 的 trace 采样。例如： 将值设置为 10 个 trace

2.5.2 非标量变量的反向传播 ..... 71 2.5.3 分离计算 ..... 71 2.5.4 Python控制流的梯度计算 ..... 72 2.6 概率 ..... 73 2.6.1 基本概率论 ..... 74 2.6.2 处理多个随机变量 ..... 77 2.6.3 期望和方差 ..... 80 2.7 查阅文档 ..... 81 2.7.1 查找模块中的所有函数和类 5 全局向量的词嵌入 (GloVe) ..... 671 14.5.1 带全局语料统计的跳元模型 ..... 671 14.5.2 GloVe模型 ..... 672 14.5.3 从条件概率比值理解GloVe模型 ..... 672 14.6 子词嵌入 ..... 674 14.6.1 fastText模型 ..... 674 14.6.2 字节对编码 (Byte Pair 为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的概率分布之前，先体会一下训练模型的满足感。 除了提供基本数学背景速成课程的几节初步课程外，后续的每一章都介绍了适量的新概念，并提供可独立工作的例子——使用真实的数据集。这带来了组织上的

辨两条推文是否来自同一个人（例如，通过推文的相似性来对用户进行比较）。 实现这个目标的一种方法是建立一个模型，将两条推文编码成两个向量，连接向量，然后添加逻辑回归层；这将输出两条推文来自同一作者的概率。模型将接收一对对正负表示的推特数据。 由于这个问题是对称的，编码第一条推文的机制应该被完全重用来编码第二条推文。这里我们使用一个共享的 LSTM 层来编码推文。 让我们使用函数式 API 来构 keras.layers.GaussianDropout(rate) 应用以 1 为中心的乘性高斯噪声。 由于它是一个正则化层，因此它只在训练时才被激活。 ## 参数 - rate: float，丢弃概率（与 Dropout 相同）。这个乘性噪声的标准差为 $ \sqrt{\text{qrt}(\text{rate} / (1 - \text{rate}))} $ 。 ## 输入尺寸 可以是任 dropout 之后仍然保证数据的自规范性。通过随机将激活设置为负饱和值，Alpha Dropout 非常适合按比例缩放的指数线性单元（SELU）。 ## 参数 - rate: float，丢弃概率（与 Dropout 相同）。这个乘性噪声的标准差为 $ \sqrt{\text{sqt}(\text{rate} / (1 - \text{rate}))} $ 。 • seed: 用作随机种子的