1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)；

1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.3 词表 学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . 长短期记忆网络（LSTM） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342 9.2.1 门控记忆元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342 9.2.2 从零开始实现 .

可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 1.2 神经网络发展简史 1.3 深度学习特点 1.4 深度学习应用 1.5 深度学习框架 1.6 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有

它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 · 随机数产生 ······ NumPy是什么？ 5 NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处 理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大 型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore， NASA 用其处理一些本来使用 结果 [6, 6, 6, 7]]) 函数名 功能 函数名 功能 min 最小值 max 最大值 ptp 极差 argmin 最小值的下标 mininum 二元最小值 maxinum 二元最大值 sort 数组排序 argsort 数组排序下标 percentile 分位数 median 中位数 min,max都有axis,out,keepdims等参数，我们来看其他函数。

gradient 31 定义 网络 1 损失 函数 2 优化 3 深度学习的三个步骤 深度学习很简单…… 来源：李宏毅《1天搞懂深度学习》 32 3. 神经网络 torch.Tensor-支持自动编程操作（如backward()）的多维数组。同时保持梯度的张 量。 nn.Module-神经网络模块.封装参数,移动到GPU上运行,导出,加载等 nn.Parameter-一种张量,当把它赋值给一个Module时 ze, size]中的size。 out_features指的是输出的二维张量的大小，即输出的二维张量的形状为 [batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。 从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。

function z (z ) Activation function a weights bias … … … … b + w1 wk wK x1 xk xK 神经元 (z ) 1 (z ) = e− z 1 + z 24 主要的几种神经网络 标准神经网络(NN) 递归神经网络 (RNN) 卷积神经网络(CNN) 25 深度学习的硬件 26 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些

����������������� 11 概述 大家好，本章是主要介绍一下深度学习框架 Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 集成了这两个框架的优 点， 把 Python 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 之后的 Pytorch。由于 Pytorch 吸 取了之前一些深度学习框架优点，开发难度大大降低、很容易 构建各种深度学习模型并实现分布式的训练，因此一发布就引 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 分为三种不同的版本分别是稳

感知机算法 03 BP算法 4 1.人工神经网络发展历史 发展历史 1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型， MP模型 神经元数学模型 神经元生理结构 输入层 输出层 隐藏层 5 1.人工神经网络发展历史 1960年代，人工网络得到了进一步地发展 感知机和自适应线性元件等被提出。 M.Minsky仔细分析了以感知机为代表的神 学习速度快 随机初始化输入权重??和偏置 ，只求解输出权重值??。 1 nx 1 ? ? i  n 1  i L  1  L  ny 1个输出 层神经元 ?个隐藏 层神经元 ?个输入 层神经元 9 2.感知器算法 01 发展历史 02 感知机算法 03 BP算法 10 2.感知机算法 感知机（Perceptron）是二分类问题的 线性分类模型。 jy ly ih v dh v 1 j w 2 j w hj w qj w . . . . . . 第ℎ个隐层神经元的输入 ?ℎ = ෍ ?=1 ? ??ℎ?? 第?个输出层神经元的输入 ?? = ෍ ℎ=1 ? ?ℎ??ℎ 隐层神经元 激活函数 1h v 神经网络模型 15 3.BP算法 常见激活函数选择： Sigmoid 函数 Tanh 函数 ReLU

样例可视化 MNIST Softmax 网络介绍 感知机模型 1957年，受 Warren McCulloch 和 Walter Pitts 在神经元建模方面工作的启发，心理学家 Frank Rosenblatt 参考大脑中神经元信息传递信号的工作机制，发明了神经感知机模型 Perceptron 。 二分类模型 神经网络 在机器学习和认知科学领域，人工神经网络（ANN），简称神经网络（NN）是一种模仿生物 网络（NN）是一种模仿生物 神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于 对函数进行估计或近似。神经网络是多层神经元的连接，上一层神经元的输出，作为下一层 神经元的输入。 线性不可分 激活函数（Activation Function） 为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合；也可作为最终的分类层使用，其输出神经元的值代表了每个输出类 别的概率。 前向传播 前向传播 简化形式： 后向传播（ Back Propagation, BP） BP算法的基本思想是通过损失函数对模型参数进行求导， 并根据复合

因为下面的层可以自动地推断尺寸）需要接收关于其输入尺寸的信息。有几种方法来做到这一 点： • 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个整数或 None 的元 组，其中 None 表示可能为任何正整数)。在 input_shape 中不包含数据的 batch 大小。 • 某些 2D 层，例如 Dense，支持通过参数 input_dim 指定输入尺寸，某些 random.randint(10, size=(100, 1)), num_classes=10) model = Sequential() # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。 # 在第一层必须指定所期望的输入数据尺寸： # 在这里，是一个 20 维的向量。 model.add(Dense(64, activation='relu', input_dim=20)) 它沿着空间维度裁剪，即宽度和高度。 参数 • cropping: 整数，或 2 个整数的元组，或 2 个整数的 2 个元组。 • 如果为整数：将对宽度和高度应用相同的对称裁剪。 • 如 果 为 2 个 整 数 的 元 组： 解 释 为 对 高 度 和 宽 度 的 两 个 不 同 的 对 称 裁 剪 值： (symmetric_height_crop, symmetric_width_crop)。 • 如果为 2