# 数学基础笔记（V1.01） # 你不是一个人在战斗！ haiguang2000@qq.com 最后修改：2018-04-19 ## 目录 机器学习的数学基础.....1 高等数学.....1 线性代数.....9 概率论和数理统计.....19 ## 机器学习的数学基础 ## 高等数学 ### 1. 导数定义： 导数和微分的概念 $$ f^{\prime}(x_{0})=\lim_{\Delta ). $$ (5) 若X与Y相互独立， $ f(x) $ 和 $ g(x) $ 为连续函数，则 $ f(X) $ 和 $ g(Y) $ 也相互独立。 ## 随机变量的数字特征 ### 1. 数学期望 离散型： $ P\{X=x_{i}\}=p_{i},E(X)=\sum_{i}x_{i}p_{i}; $ 连续型： $ X \sim f(x), E(X) = \int_{-\infty}^{+\infty} < E(X - C)^{2}, C \neq E(X) $ (6) $ D(X) = 0 \Leftrightarrow P\{X = C\} = 1 $ ### 6. 随机变量函数的数学期望 (1) 对于函数 $ Y=g(x) $ $$ P\{X=x_{i}\}=p_{i},E(Y)=\sum_{i}g(x_{i})p_{i}; $$ X为连续型： $ X \sim f(x)

## 机器学习-高等数学回顾 黄海广 副教授 2021年07月 ## 高等数学 ### 1. 导数定义： 导数和微分的概念 $$ f^{\prime}(x_{0})=\lim_{\Delta x\to0}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta x} $$ 或者： $ f'(x_{0}) = \lim_{x \to x_{0}} \frac{f(x) \frac{f(x) - f(x_{0})}{x - x_{0}} $ ## 高等数学 ### 2. 左右导数导数的几何意义和物理意义 函数 $ f(x) $ 在 $ x_{0} $ 处的左、右导数分别定义为： 左导数： $ f_{-}^{\prime}(x_{0})=\lim_{\Delta x\to0^{-}}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta x\to0^{+}}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta x}=\lim_{x\to x_{0}^{+}}\frac{f(x)-f(x_{0})}{x-x_{0}} $ ## 高等数学 ### 3. 函数的可导性与连续性之间的关系 Th1: 函数 $ f(x) $ 在 $ x_{0} $ 处可微 $ \Leftrightarrow f(x) $ 在 $ x_{0} $ 处可导。

3 多元高斯分布 5. 其他资源 ## 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 ### 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素，

-a_{2}^{T}-\\ \vdots\\ -a_{m}^{T}-\end{bmatrix} $$ 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。通常，在向量而不是标量上操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通用约定。 ### 2. 矩阵乘法 两个矩阵相乘，其中 $ A \in R^{m \times n} $ and $ 这里第i行的C由左边的向量的矩阵向量乘积给出： $ c_{i}^{T}=a_{i}^{T}B $ 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。为了完全理解线性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实际上所有的线性代数 1}^{m}B_{ji}A_{ij}\right)=\sum_{j=1}^{n}(BA)_{jj}=\mathrm{tr}BA\end{aligned} $$ 这里，第一个和最后两个等式使用迹运算符和矩阵乘法的定义，重点在第四个等式，使用标量乘法的可交换性来反转每个乘积中的项的顺序，以及标量加法的可交换性和相关性，以便重新排列求和的顺序。 ### 3.5 范数 向量的范数 $ \|x\| $

虽然声明变量时使用 let 关键字也会导致变量不可以重新赋值，但我们可以加上 mut 关键字来让变量可以被重新赋值。然而常量却没有这种机制，常量一旦定义就永远不可变更和重新赋值。 4. 常量只能被赋值为常量表达式/数学表达式，不能是函数返回值或者其它只有在运行时才能确定的值。这是因为常量只是一个符号，会在编译时替换为具体的值，这个有点类似于 C 语言中的 #define 定义的符号。 5. 常量可以在任意作用域 Rust 运算符 运算符用于对数据执行一些操作。 被运算符执行操作的数据我们称之为操作数。 例如我们常见的加法运算，那么加号（+）就是一个运算符。 例如 7 + 5 = 12 7 和 5 我们称为 运算符加号（+）的操作数，而 12 则运算符操作的结果。 Rust 语言支持以下四种运算符 算术运算符 位运算符 ● 关系运算符 ● 逻辑运算符 ### 8.1 算术运算符 算术 算术运算符就是我们日常所使用的加减乘除求余五则运算。 下表列出了 Rust 语言支持的所有算术运算符。 在下表中，我们假设 a = 10 且 b = 5。 |名称|运算符|范例| |---|---|---| |加|\+|a+b 的结果为 15| |减|\-|a-b 的结果为 5| |乘|\*|a\*b 的结果为 50| |除|/|a / b 的结果为 2| |求余|%|a % b 的结果为 0|

3. 关键字与标识符 4. 运算符与表达式 5. 从键盘输入数据 ## ▶ 流程控制 1. 语句和复合语句 2. 分支结构（选择结构） 3. 循环结构 4. 跳转语句 ## 大纲 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 ## 接下来 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 1234; //定义整形变量MyInt String myString = "" + MyInt; //将整型数据转换成了字符串 ## 接下来 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 ## 常量 ## 变量的属性 变量名 ▶ 类型 值 ▶ 地址 ## 常量 整型常量 八进制、十六进制、十进制长整型后需要加 1 i, j = 0; i = 8; float k; k = 3.6f; Java 语言程序中可以随时定义变量，不必集中在执行语句之前。 ## 接下来 数据类型 常量和变量 关键字与标识符 运算符与表达式 从键盘获得输入 语句 分支结构 循环结构 ## 关键字与标识符 ## ✿ 关键字（Java 保留字） |abstract|assert|boolean|break|byte|case|