代表了高、宽均为 32。张量的维度数以及每个维度所代表的具体物理含义需要由用户 自行定义。 在 PyTorch 中，为了表达方便，一般把标量、向量、矩阵也统称为张量，不作区分， 需要根据张量的维度数或形状来自行判断，本书也沿用此方式。 首先来看标量在 PyTorch 是如何创建的，实现如下： In [1]: a = 1.2 # python 语言方式创建标量 aa = torch.tensor(1 [11]: a = torch.tensor([True]) # 创建 pytorch 布尔张量 if a: # 测试 if 条件 print('True') a==True # 测试与 True 比对结果 Out[11]: True # if 条件成立 tensor([True]) # ==比对自动转换为 PyTorch 张量 4.2 数值精度 对于数值 算精度要求，部分对精度要求较高的算法，如某些强化学习算法，可以选择使用 torch.int64 和 torch.float64 精度保存张量。 4.2.1 读取精度 通过访问张量的 dtype 成员属性可以判断张量的保存精度，例如： In [15]: a = torch.tensor(np.pi, dtype=torch.float64) # 64 位 print('before:',a.dtype)

节点的存放的类别作为决策结果。 根节点 (root node) 叶节点 (leaf node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1.决策树原理 优点： ⚫ 推理过程容易理解，计算简单，可解释性强。 ⚫ 比较适合处理有缺失属性的样本。 ⚫ 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性， 减少变量的数目提供参考。 缺点： ⚫ 容易造成过拟合，需要采用剪枝操作。 ⚫ 忽略了数据之间的相关性。 ⚫ 对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给 定的测试属性。 ID3 算法 10 2.ID3算法 ID3 算法 其大致步骤为： 1. 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 3. 更新数据集合和特征集合（删除上一步使用的特征，并按照特征值来划分不 同分支的数据集合）； 4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。

9.微分中值定理，泰勒公式 Th1:(费马定理) 若函数?(?)满足条件： (1)函数?(?)在?0的某邻域内有定义，并且在此邻域内恒有 ?(?) ≤ ?(?0)或?(?) ≥ ?(?0), (2) ?(?)在?0处可导,则有 ?′(?0) = 0 Th2:(罗尔定理) 设函数?(?)满足条件： (1)在闭区间[?, ?]上连续； (2)在(?, ?)内可导；(3) ，使 ?′(?) = 0 Th3: (拉格朗日中值定理) 设函数?(?)满足条件： (1)在[?, ?]上连续；(2)在(?, ?)内可导； 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?−? = ?′(?) Th4: (柯西中值定理) 设函数?(?)，?(?)满足条件： (1) 在[?, ?]上连续；(2) 在(?, ?)内可导且?′(?)，?′( )内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→?0 ?(?) = 0, lim ?→?0 ?(?) = 0; ?(?),?(?)在?0的邻域内可导 (在?0处可除外)且?′(?) ≠ 0; 机器学习的数学基础 5

微分中值定理，泰勒公式 Th1:(费马定理) 若函数?(?)满足条件： (1)函数?(?)在?0的某邻域内有定义，并且在此邻域内恒有 ?(?) ≤ ?(?0)或?(?) ≥ ?(?0), (2) ?(?)在?0处可导,则有 ?′(?0) = 0 14 高等数学 Th3: (拉格朗日中值定理) 设函数?(?)满足条件： (1)在[?, ?]上连续；(2)在(?, ?)内可导； 则在( 设函数?(?)，?(?)满足条件： (1) 在[?, ?]上连续；(2) 在(?, ?)内可导且?′(?)，?′(?)均存在，且?′(?) ≠ 0 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 16 高等数学 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→?0 ? ? = 存在(或∞)。 则： lim ?→?0 ? ? ? ? = lim ?→?0 ?′ ? ?′ ? 17 高等数学 法则?’ ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→∞ ? ? = 0, lim ?→∞ ? ? = 0;存在一个? > 0,当 ? > ?时,? ? , ? ? 可 导,且?′ ? ≠ 0; lim ?→?0 ?′ ? ?′

GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 672 14.5.3 从条件概率比值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 672 14.6 子词嵌入 . . . . . . 用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，人们可以在实践教程中找到干净的可运行代码， 并从中穿插高质量的阐述。我们发现了大量关于如何使 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数据，以及如何应用基于线性代数、微积分和概率基 本概念的各种数值运算。3节 和 4节 涵盖了深度学习的最基本概念和技术，例如线性回归、多层感知机 和正则化。 • 接下来的五章集中讨论现代深度学习技术。5节

深度学习中常见生成式模型  自编码（AE）  其隐变量z是一个单值映射：z=f(x)  变分自编码（VAE）  其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  深度卷积生成式对抗网络（DCGAN）  判别器和生成器都使用了卷积神经网络（CNN）来替代GAN 中的多层感知机  Improved GAN WGAN ...... 2. GAN的理论与实现模型 18 GAN的衍生模型 GAN的理论与实现模型 （1）CGAN--条件生成对抗网络，为了防止训练崩塌将前置条件加入输入数据。 图 条件生成对抗网络的结构 2. GAN的理论与实现模型 19 GAN的衍生模型 GAN的理论与实现模型 （2）DCGAN--深度卷积生成对抗网络，提出了能稳定训练的网络结构， （6） Improved GAN--改进生成式对抗网络，提出了使模型训练稳定的五条 经验。 a.特征匹配（feature matching） b.最小批量判断（minibatch discrimination） c.历史平均（historical averaging） d.单边标签平滑（one-sided label

04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ? = lim Δ?→0 ? ?0 + Δ? − ? ?0 = 0 32 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 33 ， 如果平均变化率的极限存在 = 1,2,3 ⇒ ? ? = 3 8 S = 1,2, … , 8 ? ? = ?所包含的样本点数 ?中的样本点数 45 概率论与数理统计 (1) 条件概率: ?(?|?) = ?(??) ?(?) ,表示?发生的条件下，?发生的概率 一袋中有8个球，编号为1－8，其中1－3号为红球，4－8号为黄球， 设摸到每一球的可能性相等，从中随机摸一球，记A={ 摸到红球 }，求P(A)。

腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 的概率，并结合三者概率给出综合分，通过 分数所属区间判断图片性质。 Ø 色情图片：包含露点或不雅行为的图片， 可直接打击； Ø 性感图片：又称疑似图片，不含直接色情 内容但有一定的诱惑性，建议进行人工审 核； Ø 正常图片：不含不良内容的正常图片。 识别应用：腾讯云，微云，QQ群 Ø 对于输入的图片，系统将会通过对其内容的识别 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， X86 优化 Android 优化 iOS 优化 GPU 优化 内存池 硬件设备 网络模型 • 越来越多的应用场景，云服务，Android，iOS, 闸机嵌入式 • 越来越复杂的限制条件， 内存，功耗，延迟 • 越来越多的数据量，图像从百万到千万，数据从图像到视频 • 越来越复杂的网络结构，从Resnet，ResNeXt，DenseNet，DPN，SENET SACC2017

? ???? + ? 6 1.人工神经网络发展历史 1982年，加州理工学院J.J.Hopfield 教授提出了Hopfield神经网络模型 ，引入了计算能量概念，给出了网 络稳定性判断。 离散Hopfield神经网络模型 1T 2T IT N T … … 1x 2x ix nx 7 1.人工神经网络发展历史 1986年，Rumelhart和 McClelland为首的科学家提出了 −1，则? = ? − ??，? = ? − 1。 若判别函数?T?? + ? < 0，且?? = +1，则? = ?+??，? = ?+1。 再选取另一个训练样本(??, ??)，回到2。 终止条件：直到所有数据的输入输出对都不满足2中的(i)和(ii)中之一，则退出循环。 12 2.感知机算法 算法演示 分类问题 单层感知机只能处理 线性问题，无法处理 非线性问题！！ 13 逐层将信号前传至隐层、输出层，产 生输出层的结果 3.计算输出层误差 4.将误差反向传播至隐藏层神经元 5.根据隐层神经元对连接权重和阈值进 行调整 6.上述过程循环进行，直至达到某些停 止条件为止 1h v 输入层 输出层 隐层 1x ix dx 1b 2b hb qb . . . . . . . . . . . . 1y jy ly ih v dh

算法的可解释度比较强。 ⚫ 主要需要调参的参数仅仅是簇数K。 26 2.K-means聚类 K-means的缺点 • 需要预先指定簇的数量； • 如果有两个高度重叠的数据，那么它就 不能被区分，也不能判断有两个簇； • 欧几里德距离可以不平等的权重因素， 限制了能处理的数据变量的类型； • 有时随机选择质心并不能带来理想的结 果； • 无法处理异常值和噪声数据； • 不适用于非线性数据集； Step3 Step2 Step1 Step0 40 层次聚类-聚合聚类 聚合聚类 ⚫ 开始将每个样本各自分到一个簇； ⚫ 之后将相距最近的两簇合并，建立一个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 AGENES 聚合聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step0 Step4 Step1 Step2 Step3 Step3 聚 类 方 向 41 层次聚类-分裂聚类 分裂聚类 ⚫ 开始将所有样本分到一个簇； ⚫ 之后将已有类中相距最远的样本分到 两个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 DIANA 分裂聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step4 Step0 Step3 Step2 Step1