4.4.3 欠拟合还是过拟合？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.4.4 多项式回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 4.5 权重衰减 . . 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 示了深度学习在计算机视觉中的主要应用。在 14节 和 15节 中，我们展示了如何预训练语言表示模型并 将其应用于自然语言处理任务。 4 目录 代码 本书的大部分章节都以可执行代码为特色，因为我们相信交互式学习体验在深度学习中的重要性。目前，某 些直觉只能通过试错、小幅调整代码并观察结果来发展。理想情况下，一个优雅的数学理论可能会精确地告 诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努

深度学习-生成式深度学习 黄海广 副教授 2 03 GAN 的应用 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 1.生成式深度学习简介 4  深度学习中常见生成式模型 其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  深度卷积生成式对抗网络（DCGAN）  判别器和生成器都使用了卷积神经网络（CNN）来替代GAN 中的多层感知机  为了使整个网络可微，拿掉了CNN 中的池化层  将全连接层以全局池化层替代以减轻计算量。 1.生成式深度学习简介 5 自编码（AE）结构图 自编码（AE）结构图 1.生成式深度学习简介 6 变分自编码（VAE）结构图 1.生成式深度学习简介 7 变分自编码（VAE）生成图像 1.生成式深度学习简介 8 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 2. GAN的理论与实现模型 9 GAN的概念简介及提出背景 概念简介 提出背景 GAN

相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本 身的变换。转换特征构造使用单一特征或多个特征进行变换后的结果作为 新的特征。 常见的转换方法有单调转换（幂变换、log变换、绝对值等）、线性组合、 多项式组合、比例、排名编码和异或值等。 转换特征构造 15 2. 特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润. • 基于不同月份的销售额计算环比或同比销售额增长/下降率 中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 过滤式(Filter): 先对数据集进行特征选择，其过程与后续 学习器无关，即设计一些统计量来过滤特 征，并不考虑后续学习器问题 包裹式(Wrapper): 就是一个分类器，它是将后续的学习器的 性能作为特征子集的评价标准 嵌入式(Embedding): 是学习器自主选择特征 4. 特征选择 特征选择的三种方法 优点：计算时间上比较高效，而且对过拟合问题有较高的鲁棒性 缺点：倾向于选择冗余特征，即没有考虑到特征之间的相关性 过滤式 4. 特征选择 29 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) ◆定义：Relevant Features是一种著名的过滤式特征选择方法。该方法 设计了一个相关统计量来度量特征的重要性。 ➢ 该统计量是一个向量，其中每个分量都对应于一个初始特征。

本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能 。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特

Embedding以稀疏的⽅式表达信息 ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离

else: r = a return r > x = np.linspace(0, 10, 11) > y = np.array([num_judge(t, 2) for t in x])#列表生成式 array([0, 2, 2, 0, 2, 0, 0, 2, 2, 0, 0]) 28 自定义ufunc函数 使用frompyfunc()进行转化，调用格式如下： > numb_judge = [array([6, 3, 7, 4, 6, 9]), array([2, 6, 7, 4, 3, 7])] 45 多项式函数 多项式函数是整数的次幂与系数的乘积，如： f(x)= an(x^n)+ an-1(x^(n-1))+…+ a1(x)+ a0 NumPy中多项式函数可以用一维数组表示。a[0]为最高次，a[-1] 为常数项。 > a = np.array([1.0, 0, -2, 1]) linspace(0, 1, 5)) array([ 1. , 0.515625, 0.125 , -0.078125, 0. ]) 多项式函数可以进行四则运算，其中运算的列表自动化成多项 式函数。 46 多项式函数 > p + [-2, 1] poly1d([ 1., 0., -4., 2.]) > p * p poly1d([ 1., 0., -4., 2

. . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . . . . . . 14 3.1.5.6 基于栈式 LSTM 的序列分类 . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.7 带有状态 (stateful) 的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 例一：全连接网络 . . . . . . . . . . . . . . . . . . . . . . . .

TensorFlow 2 核心模块 TensorFlow 2 核心模块概览 tf.keras：分布式和高性能的 Keras • 构建和训练模型的高层次 API • API 完全兼容原生 Keras • 支持保存和加载 TensorFlow SavedModel • 支持 Eager Execution • 支持分布式训练 tf.data：功能强大的数据管理模块 支持多种数据处理 图像解码 Shuffle py_function 重采样 支持多种数据格式 图像文件 文本文件 CSV 文件 NumPy 数组 Python 生成器 TFRecord 支持多种数据来源 本地文件 分布式文件系统 对象存储系统 tf.distribute：一行代码实现分布式 Training API MirroredStrategy TPUStrategy MultiWorkerMirro redStrategy CentralStorageSt CPU 环境的分布式 YOLOv3 实现》 魂斗罗游戏中识别角色 K8s Pod K8s Pod K8s Pod Horovod(CPU) on Kubernetes model TensorFlow Serving Keras 模型训练 • DataGenerator • 随机读取 … … 图片训练集 Ceph 数据并行实现 基于 Horoved CPU 平台的分布式模型训练及部署

图像视频算法库 Bert TextInput Optim izer 性能优越:  分布式存储  分布式查询 功能完备:  GSL/负采样  主流图算法  异构图 (user/item/attribute)  动态图 标准化: Standard Libraries Graph-Learn: 分布式图算法库 标准化: Standard Solutions Continuous Optimization: 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板：物体检 测、语音识别 • 数据集管理 Intelligence） • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台（Platform