基于 Python 的深度学习库 Keras: The Python Deep Learning library $ ^{*} $ Author: Keras-Team Contributor: 万震 (WAN Zhen) wanzhenchn wanzhen@cqu.edu.cn 2018年12月24日 ## 前言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 版的主要原因在于学习 Keras 深度学习库时方便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由此引发一切后果贡献者概不负责。 The main reason of organizing purposes. Otherwise, the contributor is not responsible for the consequences. ## 目录 1 Keras: 基于 Python 的深度学习库 1.1 你恰好发现了 Keras 1.2 指导原则 1.3 快速开始：30 秒上手 Keras 1.4 安装指引 1.5 使用 TensorFlow 以外的后端 1.6 技术支持

## 深度学习-深度学习实践 黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。 ### 4. 集成学习方法 集成学习是把多个

## PyTorch ## 深度学习：GAN 主讲人：龙良曲 ### “What I cannot create, I do not understand.” —Richard Feynman ## Our Goal: $ p(x) $ 

 ## 深度学习实践 from Tensorflow to AI-Hub 王顺 – Google Cloud 目录 CONTENTS >> 从零开始 >> 初步修改 >> 业务升级 >> world开始 以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 ## 理解TF ## 开始使用 TensorFlow TensorFlow 是一个用于研究和生产的开源机器学习库。TensorFlow 提供了各种 API，可供初学者和专家在桌面、移动、网络和云端环境下进行开发。请参阅以下几部分，了解如何开始使用。 ## 学习和使用机器学习 高阶 Keras Keras API 提供了用于创建和训练深度学习模型的构造块。请先查看以下适合初学者的笔记本示例，然后阅读 TensorFlow Keras 指南。 1. 基本分类 2. 文本分类 3. 回归 4. 过拟合和欠拟合 5. 保存和加载 阅读 Keras 指南 import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train,

## 深度学习-深度卷积神经网络 黄海广 副教授 2023年04月 ## 本章目录 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 1. 经典网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ## 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成； [Image](/uploads/documents/7/6/0/7/7607a8e8efef5c4a56eb4c0c25195190/p5_1.jpg) ## AlexNet - 2012年，AlexNet 横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了打破计算机视觉研究的现状。AlexNet 使用了8层卷积神经网络，并以很大的优势赢得了2012年 ImageNet 图像识别挑战赛。  ### 2. 深度残差网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 2. 深度残差网络 梯度消失和梯度爆炸问题 ![Image](/uploads/documents/7/6/0/7/7607a8e8efef5

## 深度学习-引言 黄海广 副教授 2023年03月 ## 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ### 1. 深度学习概述 ## 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ## 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 深度学习界的执牛耳者  周志华，南京大学计算机科学与技术系主任、人工智能学院院长。代表作：《机器学习》（西瓜书） ## 人工智能界的青年才俊 ![Image](/uploa

## 深度学习-生成式深度学习 黄海广 副教授 2023年06月 ## 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 ## • 深度学习中常见生成式模型 深度学习中常见生成式模型 • 自编码 (AE) • 其隐变量z是一个单值映射： $ z=f(x) $ • 变分自编码 (VAE) • 其隐变量z是一个正态分布的采样 • 生成式对抗网络（GAN） • 条件生成式对抗网络（CGAN） 在生成器和判别器中添加某一标签信息 • 深度卷积生成式对抗网络 (DCGAN) • 判别器和生成器都使用了卷积神经网络（CNN）来替代GAN中的多层感知机 知机 - 为了使整个网络可微，拿掉了CNN中的池化层 • 将全连接层以全局池化层替代以减轻计算量。 ### 1. 生成式深度学习简介 ## 自编码（AE）结构图 $$ \min\|x-\hat{x}\|^{2} $$  损失函数：

## 深度学习-Transformer 黄海广 副教授 2023年05月 ## 本章目录 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 04 BERT ### 1 \.Transformer介绍 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 Transformer的工作流程 ## 使用位置编码表示序列的顺序 到目前为止，我们对模型的描述缺少了一种理解输入单词顺序的方法。 为了解决这个问题，Transformer为每个输入的词嵌入添加了一个向量。这些向量遵循模型学习到的特定模式，这有助于确定每个单词的位置，或序列中不同单词之间的距离。这里的直觉是，将位置向量添加到词嵌入中使得它们在接下来的运算中，能够更好地表达的词与词之间的距离。 ![Image](/upl 工作，它之后就是Softmax层。 线性变换层是一个简单的全连接神经网络，它可以把解码组件产生的向量投射到一个比它大得多的、被称作对数几率（logits）的向量里。 不妨假设我们的模型从训练集中学习一万个不同的英语单词（我们模型的“输出词表”）。因此对数几率向量为一万个单元格长度的向量——每个单元格对应某一个单词的分数。 接下来的Softmax 层便会把那些分数变成概率（都为正数、上限1.0

## 深度学习-目标检测 黄海广 副教授 2023年04月 ## 本章目录 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。 00/us_elections 双胞胎 父子 ### 1. 目标检测概述 学术和工业界主要将目标检测算法分成三类： 1.传统的目標檢測框架 2. 基于深度学习的Two Stages目标检测框架（准确度有优势） 3. 基于深度学习的One Stage目标检测框架（速度有优势） ### 1. 目标检测概述 ### 1. 传统的目标检测框架 （1）候选区域选择（采用不同尺寸、比例的滑动窗口对图像进行遍历）；

## 深度学习-优化算法 黄海广 副教授 2023年04月 ## 本章目录 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ### 1. 小批量梯度下降 ## 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax ## 小批量梯度下降 ## 小批量梯度下降（Mini-Batch }} + \varepsilon} $ 。 ## 学习率衰减 加快学习算法的一个办法就是随时间慢慢减少学习率，我们将之称为学习率衰减 可以将a学习率设为 $ a=\frac{1}{1+decayrate*epoch-num}a_{0} $ (decay-rate称为衰减率，epoch-num为代数， $ \alpha_{0} $ 为初始学习率) ## Pytorch的优化器 # 超参数 LR 超参数调整的方法  假设你在搜索超参数（学习率），假设你怀疑其值最小是0.0001或最大是1。如果你画一条从0.0001到1的数轴，沿其随机均匀取值，那90%的数值将会落在0.1到1之间，结果就是， $ \alpha $ 在0.1到1之间，应用了90%的资源，而