## 深度学习-序列模型 黄海广 副教授 2023年05月 ## 本章目录 01 序列模型概述 02 循环神经网络(RNN) 03 长短期记忆(LSTM) 04 双向循环神经网络 05 深层循环神经网络 ### 1. 序列模型概述 ## 01 序列模型概述 02 循环神经网络(RNN) 03 长短期记忆(LSTM) 04 双向循环神经网络 05 深层循环神经网络 ### ### 1. 序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和其他领域中引起变革。  ## 数学符号 在这里 $ x^{<1>} $ 表示Harry这个单词，它就是一个第4075行是1，其余值都是0的向 卷积神经网络或全连接网络的局限性 · 同一层节点之间无关联，从而导致获取时序规则方面功能不足 ## • 循环神经网络可以解决时序问题 · 基于语言模型（LM），故可以捕捉时序规则信息 它是如何实现的？ ### 2. 循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 03 长短期记忆(LSTM) 04 双向循环神经网络 05 深层循环神经网络 ### 2. 循环神经网络(RNN)

# 云端图像技术的深度学习模型与应用 李东亮 360 人工智能研究院 lidongliang@360.cn 2017.10.20  ## 中国最大的互联网安全公司 360电脑安全产品 月活跃数达到4.42亿 360导航 日均独立访问用户为8900万人 [Image](/uploads/documents/e/0/0/e/e00eb30f0dd66a8704ffc9e91bb99d35/p6_1.jpg) i i i i 语义理解 大数据分析 人工智能 ## 视觉感知模型 环境  物 业务 核心 云端 [Image](/uploads/documents/e/0/0/e/e00eb30f0dd66a8704ffc9e91bb99d35/p8_4.jpg) ## 图像技术的三个核心难点>>小、快、准 ## 小模型 ## 线上速度快 Frequent remote upgrade ![Image](/uploads/documents/e/0/0/e/e00eb30f0dd66a8704ffc9e91bb99d35/p9_1

## 深度学习-深度学习实践 黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证  1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 数据集制作 PyTorch的dataloader是用于读取训练数据的工具，它可以

## PyTorch ## 深度学习：GAN 主讲人：龙良曲 ### “What I cannot create, I do not understand.” —Richard Feynman ## Our Goal: $ p(x) $ 

 ## 深度学习实践 from Tensorflow to AI-Hub 王顺 – Google Cloud 目录 CONTENTS >> 从零开始 >> 初步修改 >> 业务升级 >> world开始 以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 ## 理解TF ## 开始使用 TensorFlow TensorFlow 是一个用于研究和生产的开源机器学习库。TensorFlow 提供了各种 API，可供初学者和专家在桌面、移动、网络和云端环境下进行开发。请参阅以下几部分，了解如何开始使用。 ## 学习和使用机器学习 高阶 Keras Keras API 提供了用于创建和训练深度学习模型的构造块。请先查看以下适合初学者的笔记本示例，然后阅读 TensorFlow Keras 指南。 1. 基本分类 2. 文本分类 3. 回归 4. 过拟合和欠拟合 5. 保存和加载 阅读 Keras 指南 import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train,

## 深度学习-深度卷积神经网络 黄海广 副教授 2023年04月 ## 本章目录 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 1. 经典网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ## 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成； [Image](/uploads/documents/7/6/0/7/7607a8e8efef5c4a56eb4c0c25195190/p5_1.jpg) ## AlexNet - 2012年，AlexNet 横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了打破计算机视觉研究的现状。AlexNet 使用了8层卷积神经网络，并以很大的优势赢得了2012年 ImageNet 图像识别挑战赛。 ![Image]( 在最后一个卷积层后有两个全连接层，分别有4096个输出。这两个巨大的全连接层拥有将近1GB的模型参数。由于早期GPU显存有限，原版的AlexNet采用了双数据流设计，使得每个GPU只负责存储和计算模型的一半参数。幸运的是，现在GPU显存相对充裕，所以我们现在很少需要跨GPU分解模型（因此，我们的AlexNet模型在这方面与原始论文稍有不同）。 ![Image](/uploads/documents/

## 深度学习-引言 黄海广 副教授 2023年03月 ## 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ### 1. 深度学习概述 ## 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 ## 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 深度学习界的执牛耳者  周志华，南京大学计算机科学与技术系主任、人工智能学院院长。代表作：《机器学习》（西瓜书） ## 人工智能界的青年才俊 ![Image](/uploa

## 深度学习-生成式深度学习 黄海广 副教授 2023年06月 ## 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 01 生成式深度学习简介 02 GAN的理论与实现模型 03 GAN的应用 04 GAN的思考与前景 ### 1. 生成式深度学习简介 ## • 深度学习中常见生成式模型 深度学习中常见生成式模型 • 自编码 (AE) • 其隐变量z是一个单值映射： $ z=f(x) $ • 变分自编码 (VAE) • 其隐变量z是一个正态分布的采样 • 生成式对抗网络（GAN） • 条件生成式对抗网络（CGAN） 在生成器和判别器中添加某一标签信息 • 深度卷积生成式对抗网络 (DCGAN) • 判别器和生成器都使用了卷积神经网络（CNN）来替代GAN中的多层感知机 知机 - 为了使整个网络可微，拿掉了CNN中的池化层 • 将全连接层以全局池化层替代以减轻计算量。 ### 1. 生成式深度学习简介 ## 自编码（AE）结构图 $$ \min\|x-\hat{x}\|^{2} $$  损失函数：

## 深度学习-Transformer 黄海广 副教授 2023年05月 ## 本章目录 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 04 BERT ### 1 \.Transformer介绍 01 Transformer介绍 02 Transformer的工作流程 03 Transformer的训练 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等）来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也使得它不能够并行计算，模型效率十分低。  jpg) ### 1 \.Transformer介绍 ## Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是序列的任务，输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 ![Image](/uploads

## 深度学习-目标检测 黄海广 副教授 2023年04月 ## 本章目录 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 ### 1. 目标检测概述 或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。 00/us_elections 双胞胎 父子 ### 1. 目标检测概述 学术和工业界主要将目标检测算法分成三类： 1.传统的目標檢測框架 2. 基于深度学习的Two Stages目标检测框架（准确度有优势） 3. 基于深度学习的One Stage目标检测框架（速度有优势） ### 1. 目标检测概述 ### 1. 传统的目标检测框架 （1）候选区域选择（采用不同尺寸、比例的滑动窗口对图像进行遍历）；