读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.2.3 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.4 定义模型 . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . .

本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能 机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本

深度学习-生成式深度学习 黄海广 副教授 2 03 GAN 的应用 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 1.生成式深度学习简介 4  深度学习中常见生成式模型  自编码（AE）  其隐变量z是一个单值映射：z=f(x)  变分自编码（VAE）  其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  深度卷积生成式对抗网络（DCGAN）  判别器和生成器都使用了卷积神经网络（CNN）来替代GAN 中的多层感知机  为了使整个网络可微，拿掉了CNN 为了使整个网络可微，拿掉了CNN 中的池化层  将全连接层以全局池化层替代以减轻计算量。 1.生成式深度学习简介 5 自编码（AE）结构图 1.生成式深度学习简介 6 变分自编码（VAE）结构图 1.生成式深度学习简介 7 变分自编码（VAE）生成图像 1.生成式深度学习简介 8 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景

(15) ? = ?ℎ? 则：?′ = ?ℎ? ?(?ℎ?) = ?ℎ??? (16) ? = ?ℎ? 则：?′ = ?ℎ? ?(?ℎ?) = ?ℎ??? 7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法 (1) 反函数的运算法则: 设? = ?(?)在点?的某邻域内单调连续，在点?处可导且?′(?) ≠ 0，则其反函数在点?所对应的?处可导，并且有 ?? ?? 复合函数的运算法则:若? = ?(?)在点?可导,而? = ?(?)在对应点?(? = ?(?))可导,则 复合函数? = ?(?(?))在点?可导,且?′ = ?′(?) ⋅ ?′(?) (3) 隐函数导数 ?? ??的求法一般有三种方法： 1)方程两边对?求导，要记住?是?的函数，则?的函数是?的复合函数.例如 1 ?，?2，???，e? 等均是?的复合函数. 对?求导应按复合函数连锁法则做。 1 2! ?″(0)?2 + ⋯ + ?(?)(0) ?! ?? + ??(?)…… (1) 其中 ??(?) = ?(?+1)(?) (?+1)! ??+1，?在 0 与?之间。(1)式称为麦克劳林公式 机器学习的数学基础 6 常用五种函数在?0 = 0处的泰勒公式 ： 1) e? = 1 + ? + 1 2! ?2 + ⋯ + 1 ?! ?? +

础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 句进行区分，然后基于特征评分、序列标注、 分类模型等提取内容特征计算相关文本单元权 重其次洗择相应的文本单元子集组成摘要候洗 集，完成内容选择，最后针对字数要求等限定 条件，对候选集的内容进行整理形成最终摘要， 完成内容组织。其细分路径又包含生成式文本 摘 摘 要(AATS)，即形成抽象认知并创造新词灵活 概括 ，和抽取式文本摘要(EATS)，即直接抽取 原始素材并拼接成简单概要 摘要/标 题生成 内容续写 （例如文 章续写） 整段文本 生成 产品 特色 通过随机Mask(即遮挡)数据库文本中的 词语或语段，让神经网络自主学习复原被 遮挡部分，从而拥有“猜测”缺失内容的 能力，产出预训练模型。再通过大规模预 训练模型理解上文或给定条件，从概率层 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。

Networks 深度学习、机器学习技术 物联网 日本 2016年 C轮融资 估值20亿美元 9 机器学习的范围 10 • 给定数据的预测问题 ✓ 数据清洗/特征选择 ✓ 确定算法模型/参数优化 ✓ 结果预测 • 不能解决什么 ✓ 大数据存储/并行计算 ✓ 做一个机器人 机器学习可以解决什么问题 11 机器学习发展史 总的来说，人工智能经历了逻辑推理、知识工程、机器 学习三个阶段。 )，非概率模型则为? = ?(?)。 其中，?是输入，?是输出。 在无监督学习中，概率模型可被表示为?(?|?)，非概率模型则为? = ?(?)。 其中，?是输入，?是输出。 21 决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。 感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概 率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 机器学习的概念-损失函数 min ? 1 ? ෍ ?=1 ? ? ??, ? ?? 25 机器学习的概念-优化算法 算法指的是模型学习中的具体计算方法。一般来说，基于参数模型构建的统计 学习问题都为最优化问题，它们都具有显式的解析解。 现有的优化方法主要有：梯度下降法、牛顿法、拟牛顿法、ADAM等等。具体 的算法，我们会在各自章节中介绍。其中本课程中，用梯度下降法作为主要的 优化算法。

? = ?ℎ? 则：?′ = ?ℎ? ?(?ℎ?) = ?ℎ??? (16) ? = ?ℎ? 则：?′ = ?ℎ? ?(?ℎ?) = ?ℎ??? 10 高等数学 7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法 (1) 反函数的运算法则: 设? = ?(?)在点?的某邻域内单调连续，在点?处可导且?′(?) ≠ 0，则 其反函数在点?所对应的?处可导，并且有 ?? ?? = = ?(?)在点?可导,而? = ?(?)在对应点?(? = ?(?))可导,则复合函 数? = ?(?(?))在点?可导,且?′ = ?′(?) ⋅ ?′(?) 11 高等数学 (3) 隐函数导数 ?? ??的求法一般有三种方法： 1)方程两边对?求导，要记住?是?的函数，则?的函数是?的复合函数.例如 1 ?，?2，???，e?等 均是?的复合函数. 对?求导应按复合函数连锁法则做。 + 1 2! ?″(0)?2 + ⋯ + ?(?)(0) ?! ?? + ??(?)…… 其中(1) ??(?) = ?(?+1)(?) (?+1)! ??+1 ，?在0与?之间。(1)式称为麦克劳林公式 高等数学 20 常用五种函数在?0 = 0处的泰勒公式 ： 1) e? = 1 + ? + 1 2! ?2 + ⋯ + 1 ?! ?? + ??+1 (?+1)! ?

2，新信息选择 3，单元状态更新 4，确定输出 使用深度学习解决NLP问题 03 深度学习用于各类型文本应用的实践方法 文本挖掘各种类型应用的处理框架 文本数据 结果 预处理 输出层 表示层 隐层 不同深度学习模型 后处理 NER 分词 情感分析 文本分类 机器翻译 … 文本分类 传统机器学习 • 选择分类器（朴素贝叶斯，SVM，KNN，LR，决 策树） • 特征工程构造特征 智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量 l 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。 摘要序列。。。 摘要序列 更新模型 评分 返回 增强学习优化模块 最优摘要结果 生成式摘要 知识图谱关系抽取：联合学习方法

BP（Back Propagation）神经 网络的概念，是一种按照误差逆 向传播算法训练的多层前馈神经 网络，目前是应用最广泛的神经 网络。 BP神经网络模型 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . . . . . . . ,1 ˆky , ˆk j y , ˆk l y ih w qj w . . . . . . kx ˆky 8 1.人工神经网络发展历史 极限学习机(Extreme Learning Machine, ELM)，是由黄广斌提出的用于处理单隐层 神经网络的算法 优点： 1.学习精度有保证 2.学习速度快 随机初始化输入权重??和偏置 ，只求解输出权重值??。 1 nx 1 ? ? i  n 1  i L  需要学习的目标函数是 从一堆输入输出中学习模型参数?和?。  1 w b 2 w iw N w 1x 2x ix N x . . . . . . f y 输入 权重 偏置 求和 求和 输出 ?(?) = sign(?T? + ?) 11 2.感知机算法 感知机算法（Perceptron Algorithm）: 随机选择模型参数的(?0, ?0)初始值。 选择一个训练样本(