## 深度学习-深度学习实践 黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。 ### 4. 集成学习方法 集成学习是把多个

## PyTorch ## 深度学习：GAN 主讲人：龙良曲 ### “What I cannot create, I do not understand.” —Richard Feynman ## Our Goal: $ p(x) $ 

 ## 深度学习实践 from Tensorflow to AI-Hub 王顺 – Google Cloud 目录 CONTENTS >> 从零开始 >> 初步修改 >> 业务升级 >> world开始 以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 ## 理解TF ## 开始使用 TensorFlow TensorFlow 是一个用于研究和生产的开源机器学习库。TensorFlow 提供了各种 API，可供初学者和专家在桌面、移动、网络和云端环境下进行开发。请参阅以下几部分，了解如何开始使用。 ## 学习和使用机器学习 高阶 Keras Keras API 提供了用于创建和训练深度学习模型的构造块。请先查看以下适合初学者的笔记本示例，然后阅读 TensorFlow Keras 指南。 1. 基本分类 2. 文本分类 3. 回归 4. 过拟合和欠拟合 5. 保存和加载 阅读 Keras 指南 import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train,

## 深度学习-深度卷积神经网络 黄海广 副教授 2023年04月 ## 本章目录 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 1. 经典网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ## 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成； [Image](/uploads/documents/7/6/0/7/7607a8e8efef5c4a56eb4c0c25195190/p5_1.jpg) ## AlexNet - 2012年，AlexNet 横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了打破计算机视觉研究的现状。AlexNet 使用了8层卷积神经网络，并以很大的优势赢得了2012年 ImageNet 图像识别挑战赛。  ### 2. 深度残差网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 2. 深度残差网络 梯度消失和梯度爆炸问题 ![Image](/uploads/documents/7/6/0/7/7607a8e8efef5

## 深度学习-引言 黄海广 副教授 2023年03月 ## 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ### 1. 深度学习概述 ## 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ## 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 深度学习界的执牛耳者  周志华，南京大学计算机科学与技术系主任、人工智能学院院长。代表作：《机器学习》（西瓜书） ## 人工智能界的青年才俊 ![Image](/uploa

## 深度学习-生成式深度学习 黄海广 副教授 2023年06月 ## 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 ## • 深度学习中常见生成式模型 深度学习中常见生成式模型 • 自编码 (AE) • 其隐变量z是一个单值映射： $ z=f(x) $ • 变分自编码 (VAE) • 其隐变量z是一个正态分布的采样 • 生成式对抗网络（GAN） • 条件生成式对抗网络（CGAN） 在生成器和判别器中添加某一标签信息 • 深度卷积生成式对抗网络 (DCGAN) • 判别器和生成器都使用了卷积神经网络（CNN）来替代GAN中的多层感知机 知机 - 为了使整个网络可微，拿掉了CNN中的池化层 • 将全连接层以全局池化层替代以减轻计算量。 ### 1. 生成式深度学习简介 ## 自编码（AE）结构图 $$ \min\|x-\hat{x}\|^{2} $$  损失函数：

## 深度学习-Transformer 黄海广 副教授 2023年05月 ## 本章目录 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 04 BERT ### 1 \.Transformer介绍 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 Transformer的工作流程 ## 使用位置编码表示序列的顺序 到目前为止，我们对模型的描述缺少了一种理解输入单词顺序的方法。 为了解决这个问题，Transformer为每个输入的词嵌入添加了一个向量。这些向量遵循模型学习到的特定模式，这有助于确定每个单词的位置，或序列中不同单词之间的距离。这里的直觉是，将位置向量添加到词嵌入中使得它们在接下来的运算中，能够更好地表达的词与词之间的距离。 ![Image](/upl 工作，它之后就是Softmax层。 线性变换层是一个简单的全连接神经网络，它可以把解码组件产生的向量投射到一个比它大得多的、被称作对数几率（logits）的向量里。 不妨假设我们的模型从训练集中学习一万个不同的英语单词（我们模型的“输出词表”）。因此对数几率向量为一万个单元格长度的向量——每个单元格对应某一个单词的分数。 接下来的Softmax 层便会把那些分数变成概率（都为正数、上限1.0

## 深度学习-目标检测 黄海广 副教授 2023年04月 ## 本章目录 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。 父子 ### 1. 目标检测概述 学术和工业界主要将目标检测算法分成三类： 1.传统的目標檢測框架 2. 基于深度学习的Two Stages目标检测框架（准确度有优势） 3. 基于深度学习的One Stage目标检测框架（速度有优势） ### 1. 目标检测概述 ### 1. 传统的目标检测框架 （1）候选区域选择（采用不同尺寸、比例的滑动窗口对图像进行遍历）； (2) 对不同的候选区域进行特征提取（SIFT、HOG等）；

## 深度学习-优化算法 黄海广 副教授 2023年04月 ## 本章目录 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ### 1. 小批量梯度下降 ## 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 小批量梯度下降 ## 小批量梯度下降（Mini-Batch }} + \varepsilon} $ 。 ## 学习率衰减 加快学习算法的一个办法就是随时间慢慢减少学习率，我们将之称为学习率衰减 可以将a学习率设为 $ a=\frac{1}{1+decayrate*epoch-num}a_{0} $ (decay-rate称为衰减率，epoch-num为代数， $ \alpha_{0} $ 为初始学习率) ## Pytorch的优化器 # 超参数 LR 超参数调整的方法  假设你在搜索超参数（学习率），假设你怀疑其值最小是0.0001或最大是1。如果你画一条从0.0001到1的数轴，沿其随机均匀取值，那90%的数值将会落在0.1到1之间，结果就是， $ \alpha $ 在0.1到1之间，应用了90%的资源，而

#TensorFlow一般使用梯度磁带tf.GradientTape来记录正向运算过程,然后反播磁带自动得到梯度值。②对常量也可求导,需要增加watch。③对tf.Variable可以通过参数trainable控制是否可学习,缺省是True。| |是否支持GPU|不支持|支持|支持| |常量示例|5.6|torch.tensor(\[5.6])|a=tf.constant(\[3.2, 4.3],dtype=tf.float16)| 在训练一个神经网络时，梯度的计算是一个关键的步骤，它为神经网络的优化提供了关键数据。 但是在面临复杂神经网络的时候导数的计算就成为一个难题，要求人们解出复杂、高维的方程是不现实的。 这就是自动求导出现的原因，当前最流行的深度学习框架如PyTorch、Tensorflow等都提供了自动微分的支持，让人们只需要很少的工作就能神奇般地自动计算出复杂函数的梯度。 ### 2. Autograd自动求导 ## requires_grad属性 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代; • 通过神经网络处理输入; • 计算损失(输出结果和正确值的差距大小) • 将梯度反向传播回网络的参数; - 更新网络的参数,主要使用如下简单的更新原则: weight = weight - learning_rate * gradient ## 深度学习的三个步骤 1 定义网络 2 损失函数