机器学习-线性代数回顾 黄海广 副教授 2021年07月 ## 目录 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 ### 1. 行列式按行（列）展开定理 2\cdots,n) $ 是A的n个特征值，则 $ |A|=\prod_{i=1}^{n}\lambda_{i} $ ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 2. 矩阵 矩阵 $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc} \\{{{A^{-1}}}}&{{{O}}}\end{pmatrix} $$ 这里A，B均为可逆方阵。 ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 3. 向量 1. 有关向量组的线性表示 (1) $ \alpha_{1},\alpha_{2},\cdots,\alpha_{s}

\beta_{s-1})}\beta_{s-1} $$ ### 9. 正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。 ## 线性方程组 ### 1. 克莱姆法则 线性方程组 $ \left\{\begin{array}{l}a_{11}x_{1}+a_{12}x_{2}+\cdots+a_{1n}x_{n}=b_{1}\\a_{21}x_{1} \Leftrightarrow \forall b,Ax=b $ 总有唯一解，一般地， $ r(A_{m\times n})=n\Leftrightarrow Ax=0 $ 只有零解。 ### 3. 非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构 （1）设A为 $ m \times n $ 矩阵，若 $ r(A_{m \times n}) = m $ ，则对Ax = b而言必有 $ r(A) = r(A = 0 的解。 (3）非齐次线性方程组 $ Ax=b $ 无解\Leftrightarrow $ r(A)+1=r(\overline{A})\Leftrightarrow b $ 不能由A的列向量 $ \alpha_{1},\alpha_{2},\cdots,\alpha_{n} $ 线性表示。 ### 4. 奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解 （1）齐次方程组Ax

二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 ### 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组： $$ 4x_{1}-5x_{2}=-13 $$ $$ -2x_{1}+3x_{2}=9 $$ 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 (AB)^{-1}=B^{-1}A^{-1} $$ $ (A^{-1})^{T} = (A^{T})^{-1} $ 因此，该矩阵通常表示为 $ A^{-T} $ 。作为如何使用逆的示例，考虑线性方程组，Ax = b，其中 $ A \in R^{n \times n} $ ， $ x, b \in R $ ，如果 A 是非奇异的（即可逆的），那么 $ x = A^{-1}b $ 。(如果 $

|Ψ|ψ|psi|psai|普西| |Ω|ω|omega|omiga|欧米| ### 3. 机器学习的背景知识-数学基础 ## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值

|Ψ|ψ|psi|psai|普西| |Ω|ω|omega|omiga|欧米| ### 3. 深度学习的背景知识-数学基础 ## 高等数学 导数、微分、泰勒公式..... ## 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值

7391304347826084 -1.1086956521739126 -1.4565217391304346 运算在这里执行线性求解。左除运算符相当强大，很容易写出紧凑、可读的代码，它足够灵活，可以求解各种线性方程组。 ### 71.1 特殊矩阵 具有特殊对称性和结构的矩阵经常在线性代数中出现并且与各种矩阵分解相关。Julia 具有丰富的特殊矩阵类型，可以快速计算专门为特定矩阵类型开发的专用例程。 下表总结了在