当处理图像数据时，每一张单独的照片即为一个样本，它的特征由每个像素数值的有序列表表示。比如， 200 × 200彩色照片由200 × 200 × 3 = 120000个数值组成，其中的“3”对应于每个空间位置的红、绿、蓝通 道的强度。再比如，对于一组医疗数据，给定一组标准的特征（如年龄、生命体征和诊断），此数据可以用来 尝试预测患者是否会存活。 当每个样本的特征类别数量都是相同的时候，其特征向 �}两类。回归是训练一个回归函数来输出一个数值；分类是训练一个分类器来 输出预测的类别。 然而模型怎么判断得出这种“是”或“不是”的硬分类预测呢？我们可以试着用概率语言来理解模型。给定 一个样本特征，模型为每个可能的类分配一个概率。比如，之前的猫狗分类例子中，分类器可能会输出图像 12 https://en.wikipedia.org/wiki/Netflix_Prize 1.3. 各种机器学习问题 23 是猫的概率为0 求我们输出字 母表中的前5个字母，返回“A、B、C、D、E”和“C、A、B、E、D”是不同的。即使结果集是相同的，集内 的顺序有时却很重要。 该问题的一种可能的解决方案：首先为集合中的每个元素分配相应的相关性分数，然后检索评级最高的元素。 PageRank15，谷歌搜索引擎背后最初的秘密武器就是这种评分系统的早期例子，但它的奇特之处在于它不依 赖于实际的查询。在这里，他们依靠一个简单的相

知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 微信朋友圈日上传图片10亿张，视频播放20亿次 4000亿QQ空间存量图片，每天空间相册新增6亿 张上传图片 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, l 政治敏感人物识别， 直播， 视频等场景 Ø 上亿级别的人脸检索，秒级的检索速度从黑名 单，白名单数据库中返回目标人脸信息。 Ø 技术指标：优图人脸识别通过传统方法和深度 学习技术结合，以空间面孔墙和微众银行远程 核身为基础，在性能上达到LFW 99.80%。 Ø QQ，微云等： 非法设置领导人头像， 公众人 物， 明星等等他人肖像。 Ø 直播，游戏视频等， 非法植入领导人，政府国 图像表示：Gabor, SIFT, HOG, LBP, POEM, LGBP, LPQ 图像集表示：Manifold, GMM, Covariance 模式分类：SVM，Boosting，决策树， 子空间学习，度量学习: PCA/LDA，Manifold, LMNN, NCA….. 词典学习&稀疏编码 • 深度学习：多层神经网络对输入进行非线性变换的学习技术 鸟类 正常 SACC2017

Model(inputs=[main_input, auxiliary_input], outputs=[main_output, auxiliary_output]) 现在编译模型，并给辅助损失分配一个 0.2 的权重。如果要为不同的输出指定不同的 loss_weights 或 loss，可以使用列表或字典。在这里，我们给 loss 参数传递单个损失函数，这 个损失将用于所有的输出。 model 16) 的数组作为输入， # 其输出数组的尺寸为 (*, 32) # 在第一层之后，你就不再需要指定输入的尺寸了： model.add(Dense(32)) 参数 • units: 正整数，输出空间维度。 • activation: 激活函数 (详见 activations)。若不指定，则不使用激活函数 (即，“线性” 激活: a(x) = x)。 • use_bias: 布尔值，该层是否使用偏置向量。 activity_regularizer=None, kernel_constraint=None, bias_constraint=None) 1D 卷积层 (例如时序卷积)。 该层创建了一个卷积核，该卷积核以单个空间（或时间）维上的层输入进行卷积，以生成 输出张量。如果 use_bias 为 True，则会创建一个偏置向量并将其添加到输出中。最后，如果 activation 不是 None，它也会应用于输出。

Solution)。为什么叫作优化？这 是因为计算机的计算速度非常快，可以借助强大的计算能力去多次“搜索”和“试错”，从 而一步步降低误差ℒ。最简单的优化方法就是暴力搜索或随机试验，比如要找出最合适的 ?∗和?∗，就可以从(部分)实数空间中随机采样?和?，并计算出?和?对应模型的误差值ℒ， 然后从测试过的{ℒ}集合中挑出最好的ℒ∗，它所对应的?和?就可以近似作为最优?∗和?∗。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低， One- hot 编码为[0,0,1, … ,0]，图片 9 的 One-hot 编码为[0,0,0, … ,1]。One-hot 编码是非常稀疏 (Sparse)的，相对于数字编码来说，占用较多的存储空间，因此一般在存储时还是采用数字 编码方式，仅在计算时，根据需要把数字编码转换成 One-hot 编码，通过 one_hot 函数即可 实现。 In [1]: def one_hot(label 既可以保存为 16 位(Bit)长度，也可以保存为 32 位甚至 64 位的精度。位越长，精度越高，同时占用的内 预览版202112 第 4 章 PyTorch 基础 4 存空间也就越大。常用的精度类型有 torch.int16、torch.int32、torch.int64、torch.float16、 torch.float32、torch.float64 等，其中 torch

度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间 ：随机实验的所有结果的集合。在这里，每个结果 可以被认为是实验结束时现 实世界状态的完整描述。 事件集（事件空间） ：元素 的集合（称为事件）是 的子集（即每个 是一个实 验可能结果的集合）。 备注： 需要满足以下三个条件： (1) 那么： 以上三条性质被称为概率公理。 举例： 考虑投掷六面骰子的事件。样本空间为 ， ， ， ， ， 。最简单的事件空间是平凡事件空间 .另一个事件空间是 的所有子集的集合。对于第一个事件空间，满足上述要求的唯一概率 度量由 ， 给出。对于第二个事件空间，一个有效的概率度量是将事件空间中每个事 件的概率分配为 ，这里 是这个事件集合中元素的数量；例如 ， 。 性质： 如果 ，则： 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量 考虑一个实验，我们翻转10枚硬币，我们想知道正面硬币的数量。这里，样本空间 的元素是长度为10 的序列。例如，我们可能有 ， ， ， ， ， ， ， ， ， 。然而，在实践中，我 们通常不关心获得任何特定正反序列的概率。相反，我们通常关心结果的实值函数，比如我们10次投掷

若?(??×?) = ? = ?，则?的列向量组线性无关。 (4) 若?(??×?) = ? < ?，则?的列向量组线性相关。 5.?维向量空间的基变换公式及过渡矩阵 若?1,?2, ⋯ , ??与?1, ?2, ⋯ , ??是向量空间?的两组基，则基变换公式为： (?1, ?2, ⋯ , ??) = (?1,?2, ⋯ , ??) [ ?11 ?12 ⋯ ?1? ?, ?1) (?1, ?1) ?1 − (??, ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向 量，就称其为规范正交基。 线性方程组 1．克莱姆法则 线性方程组 { ?11?1 + ?12?2 + 性表示。 4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解 机器学习的数学基础 15 (1) 齐次方程组?? = 0恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍 是该齐次方程组的解向量，因此?? = 0的全体解向量构成一个向量空间，称为该方程组的 解空间，解空间的维数是? − ?(?)，解空间的一组基称为齐次方程组的基础解系。 (2)

运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： ，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 实际上所有的线性代数都处理某种矩阵乘法，花一些时间对这里提出的观点进行直观的理解是非常必要 的。 除此之外，了解一些更高级别的矩阵乘法的基本属性是很有必要的： 矩阵乘法结合律: 矩阵乘法分配律: 矩阵乘法通常不是可交换的; 也就是说，通常 。 （例如，假设 ， ，如果 和 不相等，矩阵乘积 甚至不存在！） 如果您不熟悉这些属性，请花点时间自己验证它们。 例如，为了检查矩阵乘法的相关性，假设

无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ ✓ 关联规则（ Association Rules） ✓ 很多买尿布的男顾客，同时买了啤酒，可以从中找出什么规律来提 高超市销售额？ ✓ 推荐系统（ Recommender 一个没有标签的数据集，然后将数据聚类成不同的组。 K-means算法具有一个迭代过程，在这个过程中，数据集被分组成若干 个预定义的不重叠的聚类或子组，使簇的内部点尽可能相似，同时试图保 持簇在不同的空间，它将数据点分配给簇，以便簇的质心和数据点之间的 平方距离之和最小，在这个位置，簇的质心是簇中数据点的算术平均值。 15 距离度量 闵可夫斯基距离(Minkowski distance) ? ?, Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和最小包含点数(

随机事件和概率 5 2.运算律 (1) 交换律：?⋃? = ?⋃?, ?⋂? = ?⋂? (2) 结合律：(?⋃?)⋃? = ?⋃(?⋃?)； (?⋂?)⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) 3.德.摩根律 ?⋃? = ?⋂? ?⋂? = ?⋃? 4.完全事件组 ?1?2 ⋯ ??两两互斥，且和事件为必然事件，即??⋂?? = ⌀, 8 (3) 古典型概率: 实验的所有结果只有有限个， 且每个结果发生的可能性相同，其概率计算 公式： ?(?) = 事件?发生的基本事件数 基本事件总数 (4) 几何型概率: 样本空间?为欧氏空间中的一个区域， 且每个样本点的出现具有等可能性， 其概率计算公式： ?(?) = ?的度量(长度、面积、体积) ?的度量(长度、面积、体积) 1.随机事件和概率 9 6.概率的基本公式 随机变量及其概率分布 03 多维随机变量及其分布 05 数理统计的基本概念 04 随机变量的数字特征 15 1.随机变量及概率分布 取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机 变量，概率分布通常指分布函数或分布律 2.分布函数的概念与性质 定义： ?(?) = ?(? ≤ ?), −∞ < ? < +∞ 性质：(1)0 ≤ ?(?) ≤

17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 强化学习（Reinforcement Learning） ✓ 用于描述和解决智能体（agent）在与环境的交 互过程中通过学习策略以达成回报最大化或实现 ?, ? = ? 。 运算律 (1) 交换律：?⋃? = ?⋃?, ?⋂? = ?⋂? (2) 结合律：(?⋃?)⋃? = ?⋃(?⋃?)； (?⋂?)⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) (4) 德.摩根律: ?⋃? = ?⋂? ?⋂? = ?⋃? 44 概率论与数理统计-古典型概率 定义：试验?中样本点是有限的，出现每一样本点的概率是相同 ndimage N维图像 scipy.odr 正交距离回归 scipy.optimize 优化算法 scipy.signal 信号处理 scipy.sparse 稀疏矩阵 scipy.spatial 空间数据结构和算法 scipy.special 特殊数学函数 scipy.stats 统计函数 69 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个