联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 3.3 联合概率和边缘概率密度函数 3.4 条件概率分布 3.5 贝叶斯定理 3.6 独立性 3.7 期望和协方差 4. 多个随机变量 4.1 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 ## 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依 $$ P(X\in A,Y\in B)=P(X\in A)P(Y\in B) $$ 利用上述引理，我们可以证明如果X与Y无关，那么X的任何函数都与Y的任何函数无关。 ### 3.7 期望和协方差 假设我们有两个离散的随机变量X，Y并且 $ g:R^{2}\longrightarrowR $ 是这两个随机变量的函数。那么g的期望值以如下方式定义： $$ E[g(X,Y)]\triangleq\sum_{x\in Y)]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f_{XY}(x,y)dxdy $$ 我们可以用期望的概念来研究两个随机变量之间的关系。特别地，两个随机变量的协方差定义为： $$ Cov[X,Y]\triangleq E[(X-E[X])(Y-E[Y])] $$ 使用类似于方差的推导，我们可以将它重写为： $$ \begin{aligned}Cov[X

基石。 SVD可以将一个矩阵 A 分解为三个矩阵的乘积： 一个正交矩阵 U(orthogonal matrix), 一个对角矩阵 $ \Sigma $ (diagonal matrix), 一个正交矩阵V的转置。 ### 2. SVD(奇异值分解) 假设矩阵 A 是一个 $ m \times n $ 的矩阵，通过SVD是对矩阵进行分解， 那么我们定义矩阵 A 的 SVD 为: \times m $ 的矩阵，每个特征向量 $ u_{i} $ 叫做A的左奇异向量。 $ \Sigma $ 是一个 $ m \times n $ 的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值 $ \sigma $ 。 V是一个 $ n \times n $ 的矩阵，每个特征向量 $ v_{i} $ 叫做A的右奇异向量。 U 和 V 都是酉矩阵，即满足: $ U^{T}U V^{T}V = I $ 。 r为矩阵A的秩(rank)。 ### 2. SVD(奇异值分解) ## SVD求解 U矩阵求解 方阵 $ AA^{T} $ 为 $ m \times m $ 的一个方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式： $$ (A A^{\mathrm{T}})u_{i}=\lambda_{i}u_{i} $$ 可以得到矩阵 $ AA^{T} $ 的m个特征值和对应的m个特征向量u了。

1 基本符号 2. 矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3. 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 ### 1. 基础概念和符号 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $ x_{1} $ 和 $ x_{2} $ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达： $$ Ax=b $$ $$ with A=\begin{bmatrix}4&-5\\ -2&3\end{bmatrix},b=\begin{bmatrix}-13\\

|Ω|ω|omega|omiga|欧米| ### 3. 机器学习的背景知识-数学基础 ## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) \det(A)\det(B)$ - 当且仅当A为奇异方阵时， $ \det(A) = 0 $ • 当A为非奇异方阵时， $ \det(A^{-1}) = 1/\det(A) $ ## 线性代数-矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc}a_{11}&a_{12}&\cdots& s&a_{m1}&a_{m2}&\cdots&a_{mn}\end{array}\right] $ 称为矩阵，简记为A，或者 $ \left(a_{ij}\right)_{m \times n} $ 。若m = n，则称A是n阶矩阵或n阶方阵。 $$ \begin{pmatrix}C0&C1\\ C2&C3\end{pmatrix}\quad=\

|Ω|ω|omega|omiga|欧米| ### 3. 深度学习的背景知识-数学基础 ## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) \det(A)\det(B)$ - 当且仅当A为奇异方阵时， $ \det(A) = 0 $ • 当A为非奇异方阵时， $ \det(A^{-1}) = 1/\det(A) $ ## 线性代数-矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc}a_{11}&a_{12}&\cdots& s&a_{m1}&a_{m2}&\cdots&a_{mn}\end{array}\right] $ 称为矩阵，简记为A， 或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 $$ \begin{pmatrix}{{{C0}}}&{{{C1}}} \\{{{C2}}}&{{{C3

/f/6f6fb0eb1a57b4cc30fdaec2abe8c269/p18_1.jpg) 求样本协方差矩阵  对协方差矩阵进行特征值分解，将特征值从大到小排列 ![Image](/uploads/documents/6/f/6

\\{{{x_{1}^{n-1}}}}&{{{x_{2}^{n-1}}}}&{{{\ldots}}}&{{{x_{n}^{n-1}}}}\end{vmatrix}==\prod_{1\leq j ## 矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成 m 行 n 列的表格 $ \left[\begin{array}{cccc} & a_{11} & a_{12} \end{array}\right] $ 称为矩阵，简记为 A， 或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 ## 矩阵的线性运算 ### 1. 矩阵的加法 设 $ A=(a_{ij}), B=(b_{ij}) $ 是两个 $ m \times n $ 矩阵，则 $ m \times n $ 矩阵 $ C=(c_{ij})=a_{ij}+b_{ij} {ij} $ 称为矩阵A与B的和，记为 $ A+B=C $ 。 ### 2. 矩阵的数乘 设 $ A=(a_{ij}) $ 是 $ m\times n $ 矩阵，k是一个常数，则 $ m\times n $ 矩阵 $ (ka_{ij}) $ 称为数k与矩阵A的数乘，记为kA。 ### 3. 矩阵的乘法 设 $ A=(a_{ij}) $ 是 $ m\times n $ 矩阵， $ B=(b_{ij})

ARM 架构的服务平台，如何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 - 矩阵乘法是深度学习计算的重要组成部分，我们利用 ARM 架构新提供的矩阵扩展对 bf16 类型的矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 ## 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 • AWS graviton • 矩阵乘法 • 为什么矩阵乘法是深度学习的核心 • Conv、Linear、Transformers  ## GEMM ## • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON C ![Image](/uploads/documents/7/e/7/0/7e7069c0246e16402e9a8fd670f8e842/p8_1