2021年07月 机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵， 简记为?，或者 ??? ?×? 。若? = ?，则称?是?阶矩阵或?阶方阵。 2.矩阵 矩阵 8 矩阵的线性运算 2.矩阵 1.矩阵的加法 设? = ( 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2, ⋯ , ??，?线性相关 ⇔ ?可以由?1, ?2, ⋯ , ??唯一线性表示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示 ⇔ ?(?1, ?2

机器学习-支持向量机 黄海广 副教授 2 本章目录 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 3 1.支持向量机概述 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 （ Support Vector learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的

层混合模式在保存为 PSD，然后用 PS 打开，就 可以看见那个 sai 中使用“发光”的图层变成了“线性减淡（添加）”。 sai→ps 甚至图层名后面还有个奇怪的图标，那个图标是去掉混合选项中“透明形状图层”的勾选后才会出现的。 据以上可得 sai 的“发光”图层混合模式=ps 的“线性减淡（添加）”图层混合模式去掉混合选项里“透明形状图 层”的勾选。 然后对着 krita 里的图层右键 adobe 官网关于“线性减淡（添加）”图层混合模式的说明 https://helpx.adobe.com/cn/photoshop/using/blending-modes.html 线性减淡（添加） 查看每个通道中的颜色信息，并通过增加亮度使基色变亮以反映混合色。与黑色混合则不发生变化。 据此两条可得，在黑色图层上绘画就等于去掉“透明形状图层”勾选，并且黑色不会影响“线性减淡 （添加）”图层混合模式。 的“发光”图层混合模式=ps 的“线性减淡（添加）”图层混合模式去掉混合选项里“透明形状图 层”的勾选。=krita 里新建一个图层填充黑色在改成“线性减淡-添加”图层混合模式然后在上面绘制(也 可以是图层组用“线性减淡-添加”图层混合模式，里面两个正常图层，下面那个填充黑色）=krita 的 “发光（sai）”图层混合模式 注意：krita 中的相加（或叫相加-线性减淡）=线性减淡-添加，也就是线性减淡（添加） 注意

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 10. 查找算法 152 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 10.2. 二分查找 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A 时间复杂度：常数阶 void algorithm_A(int n) { System.out.println(0); } // 算法 B 时间复杂度：线性阶 void 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 10. 查找算法 151 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 10.2. 二分查找 次，算法运行时间随着 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A 时间复杂度：常数阶 function algorithm_A(n) { console.log(0); } // 算法 B 时间复杂度：线性阶 function 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 10. 查找算法 155 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 10.2. 二分查找 次，算法运行时间随着 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A 时间复杂度：常数阶 func algorithmA(n: Int) { print(0) } // 算法 B 时间复杂度：线性阶 func algorithmB(n: 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 10. 查找算法 151 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 10.2. 二分查找 算法 A 只有 1 个打印操作，算法运行时间不随着 ? 增大而增长。我们称此算法的时间复杂度为「常数阶」。 ‧ 算法 B 中的打印操作需要循环 ? 次，算法运行时间随着 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A A 时间复杂度：常数阶 function algorithm_A(n: number): void { console.log(0); } // 算法 B 时间复杂度：线性阶 function algorithm_B(n: number): void { for (let i = 0; i < n; i++) { console.log(0); } } // 算法 C 时间复杂度：常数阶

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 10. 查找算法 153 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 10.2. 二分查找 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A 时间复杂度：常数阶 void algorithm_A(int n) { cout << 0 << endl; } // 算法 B 时间复杂度：线性阶 void 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10. 查找算法 145 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 10.2. 二分查找 次，算法运行时间随着 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 # 算法 A 时间复杂度：常数阶 def algorithm_A(n): print(0) # 算法 B 时间复杂度：线性阶 def algorithm_B(n): 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 10. 查找算法 155 10.1. 线性查找 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 10.2. 二分查找 次，算法运行时间随着 ? 增大成线性增长。此算法的时间复杂度被称为 「线性阶」。 ‧ 算法 C 中的打印操作需要循环 1000000 次，但运行时间仍与输入数据大小 ? 无关。因此 C 的时间复杂 度和 A 相同，仍为「常数阶」。 // 算法 A 时间复杂度：常数阶 func algorithm_A(n int) { fmt.Println(0) } // 算法 B 时间复杂度：线性阶 func algorithm_B(n 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复杂度分析中，我们可以将统计「计算操作的运行时间」简化为统计