2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3. 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 以便重新排列求和的顺序。 ### 3.5 范数 向量的范数 $ \|x\| $ 是非正式度量的向量的“长度”。例如，我们有常用的欧几里德或 $ \ell_{2} $ 范数， $$ \|x\|_{2}=\sqrt{\sum_{i=1}^{n}x_{i}^{2}} $$ 注意： $ \|x\|_{2}^{2}=x^{T}x $ 更正式地，范数是满足4个属性的函数（ $ f: R^{n} f(y) $ （三角不等式） 其他范数的例子是 $ \ell_{1} $ 范数： $$ \|x\|_{1}=\sum_{i=1}^{n}|x_{i}| $$ 和 $ l_{\infty} $ 范数： $$ \|x\|_{\infty}=\max_{i}|x_{i}| $$ 事实上，到目前为止所提出的所有三个范数都是 $ \ell_{p} $ 范数族的例子，它们由实数 $ p\geq1

进阶 人工智能将成为终极搜索引擎，可以理解网络上的一切信息。它会准确地理解你想要什么，给你需要的东西。—拉里·佩奇 在介绍完张量的基本操作后，现在来进一步学习张量的进阶操作，如张量的合并与分割、范数统计、张量填充、张量限幅等。最后通过 MNIST 数据集的测试实战，来加深读者对 PyTorch 张量进阶操作的理解。 ### 5.1 合并与分割 #### 5.1.1 合并 合并是指将多个张 位置、均值、范数等信息。由于张量维度通常较大，直接观察数据很难获得有用信息，因此通过获取这些张量的统计信息可以较轻松地推测张量数值的分布。下面将介绍一些常用的张量统计函数。 #### 5.2.1 向量范数 向量范数(Vector Norm)是表征向量 “长度” 的一种度量方法，它可以推广到张量上。在神经网络中，常用来表示张量的权值大小、梯度大小等。常用的向量范数有： ☐ L1 范数，定义为向量 \|\boldsymbol{x}\|_{1}=\sum_{i}|x_{i}| $$ ☐ L2 范数，定义为向量 x 的所有元素的平方和，再开根号 $$ \|\boldsymbol{x}\|_{2}=\sqrt{\sum_{i}|x_{i}|^{2}} $$ ☐ $ \infty $ －范数，定义为向量x的所有元素绝对值的最大值： $$ \|\boldsymbol{x}\|_{\in

2.3.6 降维 56 2.3.7 点积（Dot Product） 58 2.3.8 矩阵-向量积 ..... 59 2.3.9 矩阵-矩阵乘法 ..... 59 2.3.10 范数 ..... 60 2.3.11 关于线性代数的更多信息 ..... 62 2.4 微积分 ..... 63 2.4.1 导数和微分 ..... 64 2.4.2 偏导数 ..... 淆。 #### 2.3.10 范数 线性代数中最有用的一些运算符是范数（norm）。非正式地说，向量的范数是表示一个向量有多大。这里考虑的大小（size）概念不涉及维度，而是分量的大小。 在线性代数中，向量范数是将向量映射到标量的函数f。给定任意向量x，向量范数要满足一些属性。第一个性质是：如果我们按常数因子 $ \alpha $ 缩放向量的所有元素，其范数也会按相同常数因子的绝对值缩放： $$ 第三个性质简单地说范数必须是非负的： $$ f(\mathbf{x})\geq0. $$ 这是有道理的。因为在大多数情况下，任何东西的最小的大小是0。最后一个性质要求范数最小为0，当且仅当向量全由0组成。 $$ \forall i,[\mathbf{x}]_{i}=0\Leftrightarrow f(\mathbf{x})=0. $$ 范数听起来很像距离的度量。欧几里得

人工智能标准体系结构包括基础共性、基础支撑、关键技术、智能产品与服务、赋能新型工业化、行业应用、安全/治理等7个部分，如图1所示。其中，基础共性标准是人工智能的基础性、框架性、总体性标准。基础支撑标准主要规范数据、算力、算法等技术要求，为人工智能产业发展夯实技术底座。关键技术标准主要规范人工智能文本、语音、图像，以及人机混合增强智能、智能体、跨媒体智能、具身智能等的技术要求，推动人工智能技术创新和应用。智 测试评价等标准。 3. 智能移动终端标准。规范人工智能应用在移动终端领域的技术要求，包括图像识别、人脸识别、智能语音交互，以及智 能移动终端涉及的信息无障碍、适老化等标准。 4. 数字人标准。规范数字人的外形、动作生成、语音识别与合成、自然语言交互等技术要求，包括数字人基础能力评估、多媒体合成渲染、基础数据采集方法、标识和识别方法等标准。 5. 智能服务标准。规范基于大模型、自然语言处理、智

clipvalue 能在所有的优化器中使用，用于控制梯度裁剪（Gradient Clipping）： from keras import optimizers # 所有参数梯度将被裁剪，让其 l2 范数最大为 1: $ g * 1 / \max(1, l2\_norm) $ sgd = optimizers.SGD(lr=0.01, clipnorm=1.) from keras import 002, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0) Adamax 优化器，来自 Adam 论文的第七小节. 它是 Adam 算法基于无穷范数（infinity norm）的变种。默认参数遵循论文中提供的值。 ## 参数 • lr: float >= 0. 学习率. • beta 1/beta 2: floats, 0 < 可用的约束 • max norm(max value=2, axis=0): 最大范数约束 • non_neg(): 非负性约束 • unit norm(axis=0): 单位范数约束 • min_max_norm(min_value=0.0, max_value=1.0, rate=1.0, axis=0): 最小/最大范数约束 ## 18 可视化 Visualization ## 模型可视化?

、 $ L_{2} $ 正则化给出的限制。可以看到在正则化的限制之下， $ L_{2} $ 正则化给出的最优解 $ w^{*} $ 是使解更加靠近原点，也就是说 $ L_{2} $ 正则化能降低参数范数的总和。 $ L_{1} $ 正则化给出的最优解 $ w^{*} $ 是使解更加靠近某些轴，而其它的轴则为0，所以 $ L_{1} $ 正则化能使得到的参数稀疏化。 ## 正则化 ## Dropout正则化

L_{2} $ 正则化给出的限制。 可以看到在正则化的限制之下， $ L_{2} $ 正则化给出的最优解 $ w^{*} $ 是使解更加靠近原点，也就是说 $ L_{2} $ 正则化能降低参数范数的总和。 $ L_{1} $ 正则化给出的最优解 $ w^{*} $ 是使解更加靠近某些轴，而其它的轴则为 0，所以 $ L_{1} $ 正则化能使得到的参数稀疏化。 ## 正则化 ##

也将逐渐上升。为了降低过度训练可能造成的过拟合风险，可以引入专门用来度量模型复杂度的正则化项（regularizer）或惩罚项（penalty term）—J(f)。常用的正则化项有L0、L1和L2范数。因此，我们将模型最优化的目标替换为鲁棒性更好的结构风险最小化（structural risk minimization，SRM）。如下所示，它由经验风险项和正则项两部分构成： $$ R_{s r

嵌入式 原理：嵌入式特征选择是将特征选择与学习器训练过程融为一体，两者在同一个优化过程中完成的。即学习器训练过程中自动进行了特征选择。 ## C 常用的方法包括： ➢ 利用正则化，如L1, L2 范数，主要应用于如线性回归、逻辑回归以及支持向量机(SVM)等算法；优点：降低过拟合风险；求得的 w 会有较多的分量为零，即：它更容易获得稀疏解。 使用决策树思想，包括决策树、随机森林、Gradient