全连接神经网络实战 . pytorch 版 Dezeming Family Dezeming Copyright © 2021-10-02 Dezeming Family Copying prohibited All rights reserved. No part of this publication may be reproduced or transmitted in any 讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 ( 0 . 0 , 1) #偏 置 归 0 m. bias . data . zero_ () Chapter 3. 更完善的神经网络 17 注意 bias 是权重，因为当前层的 bias 会连接下一层的每个神经元，所以 bias 的 shape 是下 一层神经元个数。调用也很简单，定义网络对象后直接调用即可： model = NeuralNetwork () . to ( device

. 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 例一：全连接网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . 3.2.7.1 Inception 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.2 卷积层上的残差连接 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.7.3 共享视觉模型 . . . . . . . . . . . . . . 84 5.4.12 GlobalAveragePooling3D [source] . . . . . . . . . . . . . . . . . . . . . . . 84 5.5 局部连接层 Locally-connected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.5.1 LocallyConnected1D

神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习以神经网络和连接主义的名义发展，经历了两次 预览版202112 第 1 章 人工智能绪论 4 兴盛和两次寒冬；2006 年，Geoffrey Hinton 首次将深层神经网络命名为深度学习，自此开

网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 6 卷积神经网络 217 6.1 从全连接层到卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 6.1.1 不变性 4 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 7.7 稠密连接网络（DenseNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 7.7.1 从ResNet到DenseNet

深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; • 全连接层块：由三个全连接层组成。 5 ? = 5 ? = 1 6 filter CONV1 POOL1 ? = 2 ? = 2 ? = 5 ? = 1 16 filter ? = 2 ? = 2 CONV2 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 LeNet 的10倍。 • 在最后一个卷积层后有两个全连接层，分别有4096个输出。 这两个巨大的全连接层拥有将近 1GB 的模型参数。 由于 早期 GPU 显存有限，原版的 AlexNet 采用了双数据流设计， 使得每个 GPU 只负责存储和计算模型的一半参数。 幸运 的是 Network）”。 DenseNet的创新点在于在网 络结构中引入了密集连接，使 特征复用和梯度传播更加容易 ，在处理图像分类、目标检测 、分割等问题中都取得了不错 的结果。 21 3.其它现代网络 DenseNet 总的来说，DenseNet和ResNet都是很优秀的卷积神经网络结构，但 DenseNet通过建立密集连接，使每一层都直接接收到多个之前层的特征图输 出，增强了特征的流动和复用

17 3.BP算法 主要步骤 第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 3.BP算法 第一步，明确损失函数 对样本 ??, ?? ，神经网络的预 测输出值为ො??。 全网络在样本 − ො?? ? ?? = ??? ??? = ො?? ? 1 − ො?? ? ?? ? − ො?? ? ?? ≔ ?? − ??? 21 3.BP算法 第四步，计算隐层到输出层连接 权值???的梯度 ??? ??ℎ? 利用链式法则，可得 其中， 可得 综上可得 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb 隐层阈值梯度取决于隐层神经元输出、输出层阈值梯度和隐层与输出层的连接权值。 在阈值的调整过程中，当前层的阈值梯度取决于下一层的阈值，这就是BP算法的精髓。 观察 ??? ??ℎ? = −???ℎ，可知 当前层的连接权值梯度，取决于当前神经元阈值梯度和上层神经元输出。 25 3.BP算法 第七步，引出结论 只要知道上一层神经元的阈值梯度，即可计算当前层神经元阈值梯度和连接权值梯度。 随后可以计算输出层神经元

对函数进行估计或近似。神经网络是多层神经元的连接，上一层神经元的输出，作为下一层 神经元的输入。 线性不可分 激活函数（Activation Function） 为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用非线性函数，常用的有Sigmoid、tanh、ReLU等。 全连接层（ fully connected layers，FC ） 全连接层是一种对 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合；也可作为最终的分类层使用，其输出神经元的值代表了每个输出类 别的概率。 前向传播 前向传播 简化形式： 后向传播（ Back Propagation, BP） BP算法的基本思想是通过损失函数对模型参数进行求导， 是常用的一种正则化方法，Dropout层是一种正则化层。全连接层参数量非常庞大（占 据了CNN模型参数量的80%～90%左右），发生过拟合问题的风险比较高，所以我们通常需要 一些正则化方法训练带有全连接层的CNN模型。在每次迭代训练时，将神经元以一定的概率值​ 暂时随机丢弃，即在当前迭代中不参与训练。 Flatten 将卷积和池化后提取的特征摊平后输入全连接网络，这里与 MNIST softmax 网络的输入层类似。

首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的 连接组成。 16 2.Transformer的工作流程 编码组件部分由一堆编 码器（encoder）构成 （论文中是将6个编码 器叠在一起）。解码组 件部分也是由相同数量 （与编码器对应）的解 接，并且都跟随着一个“层-归一化”步骤。 如果我们去可视化这些向量以及这个和自注意力相 关联的层-归一化操作，那么看起来就像下面这张 图描述一样： 37 2.Transformer的工作流程 归一化： 连接：基本的残差 连接方式 38 2.Transformer的工作流程 编码器通过处理输入序列开启 工作。顶端编码器的输出之后 会变转化为一个包含向量K（键 向量）和V（值向量）的注意力 向量集 。这些向量将被每个解 Transformer的工作流程 最终的线性变换和Softmax层 解码组件最后会输出一个实数向量。我们如何把 浮点数变成一个单词？这便是线性变换层要做的 工作，它之后就是Softmax层。 线性变换层是一个简单的全连接神经网络，它可 以把解码组件产生的向量投射到一个比它大得多 的、被称作对数几率（logits）的向量里。 不妨假设我们的模型从训练集中学习一万个不同 的英语单词（我们模型的“输出词表”）。因此 对

参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 66 Python模块-Pandas ⚫数据融合 pd.concat([df1, df2]) 轴向连接多个 DataFrame. 67

参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 67 Python模块-Pandas ⚫数据融合 pd.concat([df1, df2]) 轴向连接多个 DataFrame. 68