2021年07月 机器学习-线性代数回顾 黄海广 副教授 2 目录 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 3 1.行列式 01 行列式 02 矩阵 03 向量 06 二次型 05 矩阵的特征值和特征向量 04 线性方程组 4 (1) 设? = 05 矩阵的特征值和特征向量 04 线性方程组 7 ? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵， 简记为?，或者 ??? ?×? 。若? = ?，则称?是?阶矩阵或?阶方阵。 2.矩阵 矩阵 8 矩阵的线性运算 2.矩阵 1.矩阵的加法 设? = ( 矩阵的特征值和特征向量 04 线性方程组 15 3.向量 1.有关向量组的线性表示 (1) ?1, ?2, ⋯ , ??线性相关 ⇔至少有一个向量可以用其余向量线性表示。 (2) ?1, ?2, ⋯ , ??线性无关，?1, ?2, ⋯ , ??，?线性相关 ⇔ ?可以由?1, ?2, ⋯ , ??唯一线性表示。 (3) ?可以由?1, ?2, ⋯ , ??线性表示 ⇔ ?(?1, ?2

48 2.2.3 转换为张量格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.3 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.3.11 关于线性代数的更多信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4 微积分 . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3 线性神经网络 85 3.1 线性回归 . . .

度的可 扩展性 • 线性数据可扩展性：硬件和软件系统通过线性增加硬件 资源来线性提高处理吞吐量。例如，如果在50个处理器 上运行4小时可以处理200GB数据，在100个处理器上运 行4小时可以处理400GB数据，以此类推，则说明应用 程序可以实现线性数据可扩展性。 • 应用程序纵向扩展：衡量软件在一个对称多处理器 (SMP) 系统中的多个处理器间实现线性数据可扩展性的 有效程度。 有效程度。 • 应用程序横向扩展：确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代，企业必须支持MPP群集系统才能实现扩展。 支持海量数据可扩展性的需求并非只与Hadoop基础架构的出 现有关。多年来，领先的数据仓库供应商（如IBM和Teradata） 和领先的数据集成平台（如IBM ® InfoSphere 软件数据流通过简化在一 个或多个节点实施和执行 数据管道和数据分区的过 程，从而充分利用非共享 架构。软件数据流还可以 将构建和优化多位用户运 行的并行应用程序的复杂 问题隐藏起来。 利用数据分区实现线性 数据可扩展性 大数据集分散在多个独立 节点间，单个作业对所有 分区数据执行相同的应用 程序逻辑。 形成设计隔离的环境 设计一个数据处理作业， 并且无需重新设计和重新 调整作业，即可在任何硬 件配置中使用它。

感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概 率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 机器学习的概念-模型 22 1. 0-1损失函数(0-1 Loss Function) L ?, ? ? = ቊ1 chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， + 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 38 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ +

chi khai 喜 Ψ ψ psi psai 普西 Ω ω omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， + 1 ?! ?? + ?(??) 2) ln(1 + ?) = ? − 1 2 ?2 + 1 3 ?3 − ⋯ + (−1)?−1?? ? + ?(??) 高等数学-泰勒公式 39 线性代数-行列式 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + ⋯ + , ? ∈ ℝ?×?, det(??) = det(?)det(?) ⚫ 当且仅当?为奇异方阵时，det(?) = 0 ⚫ 当?为非奇异方阵时，det(?−1) = 1/det(?) 40 线性代数-矩阵 矩阵：? × ?个数???排成?行?列的表格 ?11 ?12 ⋯ ?1? ?21 ?22 ⋯ ?2? ⋯ ⋯ ⋯ ⋯ ⋯ ??1 ??2 ⋯ ??? 称为矩阵，简记为?， 或者

些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 Sequential 顺序模型如下所示： from keras.models import Sequential NVIDIA、优步、苹果（通过 CoreML）等。 快速开始 8 3 快速开始 3.1 Sequential 顺序模型指引 3.1.1 开始使用 Keras 顺序 (Sequential) 模型 顺序模型是多个网络层的线性堆叠。 你可以通过将层的列表传递给 Sequential 的构造函数，来创建一个 Sequential 模型： from keras.models import Sequential from 有状态的循环神经网络模型中，在一个 batch 的样本处理完成后，其内部状态（记忆）会被记录 并作为下一个 batch 的样本的初始状态。这允许处理更长的序列，同时保持计算复杂度的可控 性。 你可以在 FAQ 中查找更多关于 stateful RNNs 的信息。 from keras.models import Sequential from keras.layers import LSTM, Dense

知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为

命名空间级别定义的强制安全标准配置的工作负载将被拒绝。restricted-v2 SCC 根据 Restricted Kubernetes 定义接受工作负载。 如果您要收到 pod 安全漏洞，请查看以下资源： 如需了解如何查找导致 pod 安全违反情况的信息，请参阅识别 pod 安全违反情况。 请参阅 安全上下文约束与 pod 安全标准同步，以了解何时执行 pod 安全准入标签同步。在某些 情况下，Pod 安全准入标签不会同步，比如以下情况： plane 扩展和性能。网络流数据现在本地化到集群节 点，而不是在 control plane 上集中信息。这可减少操作延迟，并减少 worker 和控制节点之间的集群范围 流量。因此，集群网络使用节点数线性扩展，因为每个额外节点都会添加额外的网络容量，这样可优化较 大的集群。因为每个节点上的网络流都是本地化的，所以不再需要 RAFT 领导选举机制，并删除了 instability 的主要来源。对本地化 BareMetalHost 对象的名称。(OCPBUGS-9072) Cloud Compute 在以前的版本中，Machine API 控制器无法决定使用多个区的 vSphere 集群中的机器区。在这个 版本中，区查找逻辑基于虚拟机的主机，因此机器对象代表了正确的区。(OCPBUGS-7249) 在以前的版本中，在 clouds.yaml 文件中轮转云凭证后，需要重启 OpenStack 机器 API 供应商

线阈值时，警报会应用过去几个警告。这个警告周期为您提供了在节点达到磁盘水位线阈值 前响应的时间。警告消息也提供故障排除步骤的链接，您可以按照这些链接来帮助缓解问题。EO 应用过去几小时的磁盘空间数据到线性模型来生成这些警告。（LOG-1100） JSON 日志现在可以作为 JSON 对象（而不是带引号的字符串）转发到红帽受管 Elasticsearch 集 第 第 1 章 章 RED HAT OPENSHIFT 同的数据模型可以应用到其他编码。 要从 Elasticsearch 和 Kibana 搜索这些字段，在搜索时使用完整的点号字段名称。例如，使用 Elasticsearch /_search URL，若要查找 Kubernetes pod 名称，请使用 /_search/q=kubernetes.pod_name:name-of-my-pod。 顶级字段可以出现在每条记录中。 第 第 14 章 章 一个 UTC 值，用于标记日志有效负载创建的时间，如果创建时间未知，则标记首次收集日志有效负载的 时间。"@"前缀表示为特定用途保留的字段。默认情况下，大多数工具都通过 ElasticSearch 来查找 "@timestamp"。 数据类型 date 示例值 2015-01-24 14:06:05.071000000 Z OpenShift Container Platform 4.7 日志

机器学习-支持向量机 黄海广 副教授 2 本章目录 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 3 1.支持向量机概述 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 （ Support Vector learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的