正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 ## 线性代数复习和参考 对应的特征向量，我们只需解线性方程 $ (\lambda I-A)x=0 $ ，因为 $ (\lambda I-A) $ 是奇异的，所以保证有一个非零解（但也可能有多个或无穷多个解）。应该注意的是，这不是实际用于数值计算特征值和特征向量的方法（记住行列式的完全展开式有 $ n! $ 项），这是一个数学上的争议。 以下是特征值和特征向量的属性（所有假设在 $ A\inR^{n\times n} $ 具有特征值 $ 可让上述等式成立，这与设置 $ x=u_{1} $ 相对应。 ### 4. 矩阵微积分 虽然前面章节中的主题通常包含在线性代数的标准课程中，但似乎很少涉及（我们将广泛使用）的一个主题是微积分扩展到向量设置展。尽管我们使用的所有实际微积分都是相对微不足道的，但是符号通常会使事情看起来比实际困难得多。在本节中，我们将介绍矩阵微积分的一些基本定义，并提供一些示例。 ### 4.1 梯度 假设 $ f:

\frac{\partial f}{\partial x_{1}}(10,100)=1 $ ## 微分 • 函数微分的几种方式 ☐ 手动微分：纯天然计算器 ■ 缺点：对于复杂表达式容易出错 ○ 数值微分： $ \frac{f(x+\delta x)-f(x)}{\delta x} $ ■ 缺点：计算机无法精准表达小数，且绝对值越大，越不精准 符号微分：Mul(Const(2), Var(1)) value() < y.value() { x } else { y } 4. } ## 微分 • 函数微分的几种方式 ☐ 手动微分：纯天然计算器 ■ 缺点：对于复杂表达式容易出错 ○ 数值微分： $ \frac{f(x+\delta x)-f(x)}{\delta x} $ ■ 缺点：计算机无法精准表达小数，且绝对值越大，越不精准 符号微分：Mul(Const(2), Var(1)) 12. fn Symbol::op_mul(f1 : Symbol, f2 : Symbol) -> Symbol { Mul(f1, f2) } 13. 14. // 计算函数值 15. fn Symbol::compute(f : Symbol, input : Array[Double]) -> Double { ... } ## 符号微分 - 利用函数求导法则，我们计算函数的（偏）导数

..13 4.3.16 字符串值.....13 4.3.17 String 类型.....14 4.3.18 String 对象.....14 4.3.19 数值.....14 4.3.20 Number 类型.....14 4.3.21 Number 对象.....14 4.3.22 Infinity（无穷）.....14 ...26 7.7 标点符号.....27 7.8 常量.....28 7.8.1 空值常量.....28 7.8.2 布尔值常量.....28 7.8.3 数值常量.....28 7.8.4 字符串常量.....31 7.8.5 正则表达式常量.....33 7.9 自动分号插入.....34 7.9.1 自动分号插入的规则 类型.....38 8.1 未定义类型.....38 8.2 空值类型.....38 8.3 布尔值类型.....38 8.4 字符串类型.....38 8.5 数值类型.....39 8.6 对象类型.....40 8.6.1 属性的特征.....40 8.6.2 内部属性和方法.....40 8.6.2.1 [[Get]](P)

矩阵-向量积 ..... 59 2.3.9 矩阵-矩阵乘法 ..... 59 2.3.10 范数 ..... 60 2.3.11 关于线性代数的更多信息 ..... 62 2.4 微积分 ..... 63 2.4.1 导数和微分 ..... 64 2.4.2 偏导数 ..... 68 2.4.3 梯度 ..... 68 2.4.4 链式法则 ..... 68 2 7.1 前向传播 ..... 163 4.7.2 前向传播计算图 ..... 163 4.7.3 反向传播 ..... 164 4.7.4 训练神经网络 ..... 165 4.8 数值稳定性和模型初始化 ..... 166 4.8.1 梯度消失和梯度爆炸 ..... 166 4.8.2 参数初始化 ..... 168 4.9 环境和分布偏移 ..... 170 4 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学；（3）将模型拟合数据的优化算法；（4）能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资

03 ufunc函数 04 NumPy的函数库 ## NumPy是什么？ NumPy(Numeric Python)是Python的一种开源的数值计算扩展库。它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 ·傅里叶变换 · 随机数产生 · · · · · ·  ## NumPy是什么？ NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些本来使用C++，Fortran或Matlab等所做的任务。 9.84807753e-01, ... , -2.44929360e-16]) 值得注意的是，对于同等长度的ndarray，np.sin()比math.sin()快，但是对于单个数值，math.sin()的速度则更快。 ## 四 则运算 NumPy提供了许多ufunc函数，它们和相应的运算符运算结果相同。 > a = np.arange(0, 4) > b =

现⼯具提⽰。 包含元素 上下⽂相关的⼯具提⽰可能会包含如下元素: 简短介绍 控件相关细节。 快捷键 与⼯具关联的键盘或者⿏标操作。 值 属性值。 库 活动物体的源⽂件，另见 关联库。 禁⽤(红⾊) 数值⽆法编辑的原因。 Python 当启⽤ Python⼯具提⽰，将显⽰⼀个⽤于 脚本编写 的Python表达式(通常 为⼀操作项或属性)。 模式: 菜单: 快捷键: 访问上下⽂相关⼿册 参考 所有模式 在线⼿册 Alt-F1 ⽤户可能需要在Blender内部获取⼯具或界⾯内容的相关帮助。 使⽤快捷键或者右键菜单，访问Blender的参考⼿册的相关页⾯。通常会打开与 光标下的按钮相关的⽹页，适⽤于⼯具和数值按钮。 Note ⼿册尚未 100% 覆盖所有界⾯内容，如果某个⼯具没有指向相关⼿册的链 接，⽤户会在信息编辑器标题栏看到警告信息。 有些时候，按钮可能指向⽂档通⽤章节。 帮助菜单 ⽹页链接 该菜单 打开上下⽂菜单。 Backspace -- 清除值(归零或清楚内容) Minus -- 否定数值(乘以-1.0)。 Ctrl-Wheel -- 递增变化。 对于弹出选项菜单按钮，将循环选择。 Return -- 选择菜单项或切换值。 Alt -- 在编辑时按住，会把操作应⽤到所有选择项中。(如物体，⾻骼，视 频⽚段)。 这对于数值栏或开关操作⾮常有⽤。(译者注：如同时更改灯光亮度时， 你可以同时选择⼏个灯光，然后按住alt键，同时调节灯光亮度)

Loss Function) $$ \mathrm{L}\big(Y,P(Y|X)\big)=-\log P(Y|X) $$ ## 机器学习的概念-损失函数 根据上述损失函数模型，我们可知，损失函数值越小，模型性能越好。给定一个数据集，我们将训练数据集的平均损失称为经验风险。基于经验风险最小化原则，可构建全局损失函数求解最优化问题： $$ \min_{f}\frac{1}{N}\sum_{n 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) $ 的自变量x在一点 $ x_{0} $ 上产生一个增量 $ \Delta x $ 时，函数输出值的增量 $ \Delta y $ 与自变量增量 f(x) $ 在点 $ x_{0} $ 处连续，需要满足的条件： 1. 函数在该点处有定义 2. 函数在该点处极限 $ \lim_{x \to x_{0}} f(x) $ 存在 3. 极限值等于函数值 $ f(x_{0}) $ ## 高等数学-导数 如果平均变化率的极限存在， $ \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim_{\Delta

向量、矩阵、行列式、秩、线性方程组、特征值和特征向量..... ## 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差..... ## 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数 $ y=f(x) $ 的自变量x在一点 $ x_{0} $ 上产生一个增量 $ \Delta x $ 时，函数输出值的增量 $ \Delta y $ 与自变量增量 f(x) $ 在点 $ x_{0} $ 处连续，需要满足的条件： 1. 函数在该点处有定义 2. 函数在该点处极限 $ \lim_{x \to x_{0}} f(x) $ 存在 3. 极限值等于函数值 $ f(x_{0}) $ ## 高等数学-导数 如果平均变化率的极限存在， $ \lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x} = \lim_{\Delta 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些本

当⿏标划过某个按钮或者设置时，停留⽚刻，会出现⼯具提⽰。 （场景）元素 上下⽂相关的⼯具提⽰可能会包含如下元素: 简短介绍 控件相关细节。 快捷键 与⼯具关联的键盘或者⿏标操作。 数值 属性值。 库 活动物体的源⽂件，另见 关联库。 禁⽤（红⾊） 数值⽆法编辑的原因。 Python 当启⽤ Python⼯具提⽰，将显⽰⼀个⽤于 脚本编写 的Python表达式（通常 为⼀操作项或属性）。 模式:: 菜单:: 快捷键:: 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel -- 递增变化。 对于弹出选项菜单按钮，将循环选择。 Return -- 选择菜单项或切换值。 Alt -- 在编辑时按住，会把操作应⽤到所有选择项中。（如物体、⾻骼、 视频⽚段）。 这对于数值栏或开关操作⾮常有⽤。（译者注：如同时更改灯光亮度时， 你可以同时选择⼏个灯光，然后按住alt键，同时调节灯光亮度） ⽂本框显⽰为圆⾓矩形边框，并且可选的在边框内显⽰图标和/或⽂本。⽂本 框存储⽂本字符串，并提供通过 标准⽂本编辑快捷⽅式 编辑⽂本的⽅法。 对于带有图标和弹出窗⼜的⽂本框，见 数据ID 。 数字框 数字框存储数值和单位。 The first type of number field shows triangles pointing left (<) and right (>) on the sides of