游戏平台中的 49 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006 年~2019 Imitation Learning、Meta Learning、Few-shot Learning 等方向上取得 了不少进展。美国波士顿动力公司在机器人应用中取得喜人的成就，其制造的机器人在复 杂地形行走、多智能体协作等任务上表现良好(图 1.19)。 自动驾驶(Autonomous Driving) 被认为是强化学习短期内能技术落地的一个应用方 向，很多公司投入大量资源在自动驾驶上，如百度、Uber、Google Solution)。为什么叫作优化？这 是因为计算机的计算速度非常快，可以借助强大的计算能力去多次“搜索”和“试错”，从 而一步步降低误差ℒ。最简单的优化方法就是暴力搜索或随机试验，比如要找出最合适的 ?∗和?∗，就可以从(部分)实数空间中随机采样?和?，并计算出?和?对应模型的误差值ℒ， 然后从测试过的{ℒ}集合中挑出最好的ℒ∗，它所对应的?和?就可以近似作为最优?∗和?∗。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低，

当处理图像数据时，每一张单独的照片即为一个样本，它的特征由每个像素数值的有序列表表示。比如， 200 × 200彩色照片由200 × 200 × 3 = 120000个数值组成，其中的“3”对应于每个空间位置的红、绿、蓝通 道的强度。再比如，对于一组医疗数据，给定一组标准的特征（如年龄、生命体征和诊断），此数据可以用来 尝试预测患者是否会存活。 当每个样本的特征类别数量都是相同的时候，其特征向 线 性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发 出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几 里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述 实体及其关系，例如“罗马”− “意大利”+ “法国”= “巴黎”。 • 因果关系（causality）和概率图模型（probabilistic 而推断其状态），需要在进入壁橱之前考虑它之前的观察结果。 最后，在任何时间点上，强化学习智能体可能知道一个好的策略，但可能有许多更好的策略从未尝试过的。 强化学习智能体必须不断地做出选择：是应该利用当前最好的策略，还是探索新的策略空间（放弃一些短期 回报来换取知识）。 一般的强化学习问题是一个非常普遍的问题。智能体的动作会影响后续的观察，而奖励只与所选的动作相对 应。环境可以是完整观察到的，也可以是部分观察到的,解释所有这些复杂性可能会对研究人员要求太高。此

, ? = ෍ ? ?? − ?? 2 欧几里得度量（Euclidean Metric）（也称 欧氏距离）是一个通常采用的距离定义，指 在?维空间中两个点之间的真实距离，或者 向量的自然长度（即该点到原点的距离）。 在二维和三维空间中的欧氏距离就是两点之 间的实际距离。 电影分类 5 距离度量 曼哈顿距离(Manhattan distance) ?(?, ?) = ෍ ? KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这? 个实例中大多数属于哪个类别，则该样本也属于这个类别。 对于分类问题：对新的样本，根据其?个最近邻的训练样本的类别，通过多数表 决等方式进行预测。 对于回归问题：对新的样本，根据其 KNN算法 03 KD树划分 04 KD树搜索 3.K-D-Tree划分 15 KD树划分 KD树(K-Dimension Tree)，，也可称之为K维树 ，可以用更高的效率来对空间进行划分，并且其 结构非常适合寻找最近邻居和碰撞检测。 假设有 6 个二维数据点，构建KD树的过程： ? = (2,3), (5,7), (9,6), (4,5), (6,4), (7,2) 。

距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0 二维空间点 (?, ?)到直线 ?? + ?? + ? = 0的距离公式是： |?? + ?? + ?| ?2 + ?2 扩展到 ? 维空间后，点 ? = (?1, ?2 … ??) 到超平面 ?T? + ? = 0 的距离为： |?T?+?| ||?|| 其中 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。 4.线性不可分支持向量机 意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的?, ? 有: ?(?, ?) = ?(?) ⋅ ?(?) f(·) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) 特征空间 输入空间 24 4.线性不可分支持向量机

16) 的数组作为输入， # 其输出数组的尺寸为 (*, 32) # 在第一层之后，你就不再需要指定输入的尺寸了： model.add(Dense(32)) 参数 • units: 正整数，输出空间维度。 • activation: 激活函数 (详见 activations)。若不指定，则不使用激活函数 (即，“线性” 激活: a(x) = x)。 • use_bias: 布尔值，该层是否使用偏置向量。 activity_regularizer=None, kernel_constraint=None, bias_constraint=None) 1D 卷积层 (例如时序卷积)。 该层创建了一个卷积核，该卷积核以单个空间（或时间）维上的层输入进行卷积，以生成 输出张量。如果 use_bias 为 True，则会创建一个偏置向量并将其添加到输出中。最后，如果 activation 不是 None，它也会应用于输出。 None），例如， (10, 128) 表示 10 个 128 维的向量组成的向量序列，(None, 128) 表示 128 维的向量组成的变 长序列。 参数 • filters: 整数，输出空间的维度（即卷积中滤波器的输出数量）。 • kernel_size: 一个整数，或者单个整数表示的元组或列表，指明 1D 卷积窗口的长度。 • strides: 一个整数，或者单个整数表示的元组或列表，指明卷积的步长。指定任何

度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间 ：随机实验的所有结果的集合。在这里，每个结果 可以被认为是实验结束时现 实世界状态的完整描述。 事件集（事件空间） ：元素 的集合（称为事件）是 的子集（即每个 是一个实 验可能结果的集合）。 备注： 需要满足以下三个条件： (1) 时， ), 那么： 以上三条性质被称为概率公理。 举例： 考虑投掷六面骰子的事件。样本空间为 ， ， ， ， ， 。最简单的事件空间是平凡事件空间 .另一个事件空间是 的所有子集的集合。对于第一个事件空间，满足上述要求的唯一概率 度量由 ， 给出。对于第二个事件空间，一个有效的概率度量是将事件空间中每个事 件的概率分配为 ，这里 是这个事件集合中元素的数量；例如 ， 。 性质： 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量 考虑一个实验，我们翻转10枚硬币，我们想知道正面硬币的数量。这里，样本空间 的元素是长度为10 的序列。例如，我们可能有 ， ， ， ， ， ， ， ， ， 。然而，在实践中，我 们通常不关心获得任何特定正反序列的概率。相反，我们通常关心结果的实值函数，比如我们10次投掷

若?(??×?) = ? = ?，则?的列向量组线性无关。 (4) 若?(??×?) = ? < ?，则?的列向量组线性相关。 5.?维向量空间的基变换公式及过渡矩阵 若?1,?2, ⋯ , ??与?1, ?2, ⋯ , ??是向量空间?的两组基，则基变换公式为： (?1, ?2, ⋯ , ??) = (?1,?2, ⋯ , ??) [ ?11 ?12 ⋯ ?1? ?, ?1) (?1, ?1) ?1 − (??, ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向 量，就称其为规范正交基。 线性方程组 1．克莱姆法则 线性方程组 { ?11?1 + ?12?2 + 性表示。 4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解 机器学习的数学基础 15 (1) 齐次方程组?? = 0恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍 是该齐次方程组的解向量，因此?? = 0的全体解向量构成一个向量空间，称为该方程组的 解空间，解空间的维数是? − ?(?)，解空间的一组基称为齐次方程组的基础解系。 (2)

) = ? = ?，则?的列向量组线性无关。 (4) 若?(??×?) = ? < ?，则?的列向量组线性相关。 3.向量 19 5.?维向量空间的基变换公式及过渡矩阵 若?1, ?2, ⋯ , ??与?1, ?2, ⋯ , ??是向量空间?的两组基，则基变换公式为： (?1, ?2, ⋯ , ??) = (?1, ?2, ⋯ , ??) ?11 ?12 ⋯ ?1? ?21 ?22 (?1, ?1) ?1 − (??, ?2) (?2, ?2) ?2 − ⋯ − (??, ??−1) (??−1, ??−1) ??−1 3.向量 22 9.正交基及规范正交基 向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量， 就称其为规范正交基。 3.向量 23 4.线性方程组 01 行列式 02 矩阵 03 向量 06 0只有零解。 4.线性方程组 26 4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解 (1) 齐次方程组?? = 0恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是 该齐次方程组的解向量，因此?? = 0的全体解向量构成一个向量空间，称为该方程组的解 空间，解空间的维数是? − ?(?)，解空间的一组基称为齐次方程组的基础解系。 4.线性方程组 27 (2)

越大越好，模型的性能会随着特征的增加先上升后下降。 6 1.降维概述 什么是降维？ 降维(Dimensionality Reduction)是将训练数据中的样本(实例)从高 维空间转换到低维空间，该过程与信息论中有损压缩概念密切相 关。同时要明白的，不存在完全无损的降维。 有很多种算法可以完成对原始数据的降维，在这些方法中，降维 是通过对原始数据的线性变换实现的。 7 1.降维概述 数据可视化 t-distributed Stochastic Neighbor Embedding(t-SNE) t-SNE（TSNE）将数据点之间的相似度转换为概率。原始空间中的相似度由 高斯联合概率表示，嵌入空间的相似度由“学生t分布”表示。 虽然Isomap，LLE和variants等数据降维和可视化方法，更适合展开单个连 续的低维的manifold。但如果要准确的可视化样本间的相似度关系，如对于 下图所示的S曲线（不同颜色的图像表示不同类别的数据），t-SNE表现更好 。因为t-SNE主要是关注数据的局部结构。 11 1.降维概述 降维的优缺点 降维的优点： • 通过减少特征的维数，数据集存储所需的空间也相应减少，减少了特征维数所需的计算 训练时间； • 数据集特征的降维有助于快速可视化数据； • 通过处理多重共线性消除冗余特征。 降维的缺点： • 由于降维可能会丢失一些数据； • 在

运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 线性相关性和秩 3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： ，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 9 矩阵的值域和零空间 一组向量 是可以表示为 的线性组合的所有向量的集合。 即： 可以证明，如果 是一组 个线性无关的向量，其中每个 ，则 。 换句话说，任何向量 都可以写成 到 的线性组合。 向量 投影到 （这里我们假设 ）得到向量 ，由欧几 里德范数 可以得知，这样 尽可能接近 。 我们将投影表示为 ，并且可以将其正式定义为: 矩阵 的值域（有时也称为列空间），表示为 ，是 列的跨度。换句话说，