1 基本符号 2. 矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3. 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 ### 1. 基础概念和符号 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $ x_{1} $ 和 $ x_{2} $ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达： $$ Ax=b $$ $$ with A=\begin{bmatrix}4&-5\\ -2&3\end{bmatrix},b=\begin{bmatrix}-13\\

ARM 架构的服务平台，如何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 - 矩阵乘法是深度学习计算的重要组成部分，我们利用 ARM 架构新提供的矩阵扩展对 bf16 类型的矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 ## 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 • AWS graviton • 矩阵乘法 • 为什么矩阵乘法是深度学习的核心 • Conv、Linear、Transformers  ## GEMM ## • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON C ![Image](/uploads/documents/7/e/7/0/7e7069c0246e16402e9a8fd670f8e842/p8_1

机器学习-线性代数回顾 黄海广 副教授 2021年07月 ## 目录 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 ### 1. 行列式按行（列）展开定理 2\cdots,n) $ 是A的n个特征值，则 $ |A|=\prod_{i=1}^{n}\lambda_{i} $ ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 2. 矩阵 矩阵 $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc} \end{array}\right] $ 称为矩阵， 简记为A，或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 ### 2. 矩阵 ## 矩阵的线性运算 ### 1. 矩阵的加法 设 $ A=(a_{ij}),B=(b_{ij}) $ 是两个 $ m\times n $ 矩阵，则 $ m\times n $ 矩阵 $ C=(c_{ij})=a_{ij}+b_{ij}

\\{{{x_{1}^{n-1}}}}&{{{x_{2}^{n-1}}}}&{{{\ldots}}}&{{{x_{n}^{n-1}}}}\end{vmatrix}==\prod_{1\leq j ## 矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成 m 行 n 列的表格 $ \left[\begin{array}{cccc} & a_{11} & a_{12} \end{array}\right] $ 称为矩阵，简记为 A， 或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 ## 矩阵的线性运算 ### 1. 矩阵的加法 设 $ A=(a_{ij}), B=(b_{ij}) $ 是两个 $ m \times n $ 矩阵，则 $ m \times n $ 矩阵 $ C=(c_{ij})=a_{ij}+b_{ij} {ij} $ 称为矩阵A与B的和，记为 $ A+B=C $ 。 ### 2. 矩阵的数乘 设 $ A=(a_{ij}) $ 是 $ m\times n $ 矩阵，k是一个常数，则 $ m\times n $ 矩阵 $ (ka_{ij}) $ 称为数k与矩阵A的数乘，记为kA。 ### 3. 矩阵的乘法 设 $ A=(a_{ij}) $ 是 $ m\times n $ 矩阵， $ B=(b_{ij})

E\left[g_{2}(X)\right]\\ \vdots\\ E\left[g_{m}(X)\right]\end{bmatrix} $$ 协方差矩阵：对于给定的随机向量 $ X:\Omega\toR^{n} $ ，其协方差矩阵 $ \Sigma $ 是 $ n\times n $ 平方矩阵，其输入由 $ \Sigma_{ij}=Cov[X_i,X_j] $ 给出。从协方差的定义来看，我们有： $$ \begin [XX^{T}\right]-E[X]E[X]^{T}=\cdots=E\left[(X-E[X])(X-E[X])^{T}\right]\end{aligned} $$ 其中矩阵期望以明显的方式定义。 协方差矩阵有许多有用的属性： • $ \Sigma \succeq 0 $ ；也就是说， $ \Sigma $ 是正半定的。 • $ \Sigma = \Sigma^{T} $ ；也就是说， 分布。随机向量 $ X\inR^{n} $ 被认为具有多元正态(或高斯)分布，当其具有均值 $ \mu\inR^{n} $ 和协方差矩阵 $ \Sigma\inS_{++}^{n} $ （其中 $ S_{++}^{n} $ 指对称正定 $ n\times n $ 矩阵的空间） $$ f_{X_{1},X_{2},\ldots,X_{n}}\left(x_{1},x_{2},\ldots,x_{n};\mu