1 基本符号 2. 矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3. 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 ### 1. 基础概念和符号 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $ x_{1} $ 和 $ x_{2} $ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达： $$ Ax=b $$ $$ with A=\begin{bmatrix}4&-5\\ -2&3\end{bmatrix},b=\begin{bmatrix}-13\\

3.1 标量 50 2.3.2 向量 51 2.3.3 矩阵 52 2.3.4 张量 54 2.3.5 张量算法的基本性质 54 2.3.6 降维 56 2.3.7 点积（Dot Product） 58 2.3.8 矩阵-向量积 ..... 59 2.3.9 矩阵-矩阵乘法 ..... 59 2.3.10 范数 ..... 60 2.3 3.11 关于线性代数的更多信息 ..... 62 2.4 微积分 ..... 63 2.4.1 导数和微分 ..... 64 2.4.2 偏导数 ..... 68 2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2.5 自动微分 ..... 69 2.5.1 一个简单的例子 ..... 70 2.5.2 非标量变量的反向传播 ..... ..... 606 13.10 转置卷积 ..... 612 13.10.1 基本操作 ..... 612 13.10.2 填充、步幅和多通道 ..... 614 13.10.3 与矩阵变换的联系 ..... 615 13.11 全卷积网络 ..... 617 13.11.1 构造模型 ..... 617 13.11.2 初始化转置卷积层 ..... 619 13.11

## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) $ 的自变量x在一点 $ x_{0} \det(A)\det(B)$ - 当且仅当A为奇异方阵时， $ \det(A) = 0 $ • 当A为非奇异方阵时， $ \det(A^{-1}) = 1/\det(A) $ ## 线性代数-矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc}a_{11}&a_{12}&\cdots& s&a_{m1}&a_{m2}&\cdots&a_{mn}\end{array}\right] $ 称为矩阵，简记为A，或者 $ \left(a_{ij}\right)_{m \times n} $ 。若m = n，则称A是n阶矩阵或n阶方阵。 $$ \begin{pmatrix}C0&C1\\ C2&C3\end{pmatrix}\quad=\

## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) $ 的自变量x在一点 $ x_{0} \det(A)\det(B)$ - 当且仅当A为奇异方阵时， $ \det(A) = 0 $ • 当A为非奇异方阵时， $ \det(A^{-1}) = 1/\det(A) $ ## 线性代数-矩阵 矩阵： $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc}a_{11}&a_{12}&\cdots& s&a_{m1}&a_{m2}&\cdots&a_{mn}\end{array}\right] $ 称为矩阵，简记为A， 或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 $$ \begin{pmatrix}{{{C0}}}&{{{C1}}} \\{{{C2}}}&{{{C3

ARM 架构的服务平台，如何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 - 矩阵乘法是深度学习计算的重要组成部分，我们利用 ARM 架构新提供的矩阵扩展对 bf16 类型的矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 ## 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 • AWS graviton • 矩阵乘法 • 为什么矩阵乘法是深度学习的核心 • Conv、Linear、Transformers  ## GEMM ## • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON C ![Image](/uploads/documents/7/e/7/0/7e7069c0246e16402e9a8fd670f8e842/p8_1

机器学习-线性代数回顾 黄海广 副教授 2021年07月 ## 目录 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 ### 1. 行列式按行（列）展开定理 2\cdots,n) $ 是A的n个特征值，则 $ |A|=\prod_{i=1}^{n}\lambda_{i} $ ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 2. 矩阵 矩阵 $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc} \end{array}\right] $ 称为矩阵， 简记为A，或者 $ \left(a_{ij}\right)_{m\times n} $ 。若m=n，则称A是n阶矩阵或n阶方阵。 ### 2. 矩阵 ## 矩阵的线性运算 ### 1. 矩阵的加法 设 $ A=(a_{ij}),B=(b_{ij}) $ 是两个 $ m\times n $ 矩阵，则 $ m\times n $ 矩阵 $ C=(c_{ij})=a_{ij}+b_{ij}