全连接神经网络实战 . pytorch 版 Dezeming Family Dezeming Copyright © 2021-10-02 Dezeming Family Copying prohibited All rights reserved. No part of this publication may be reproduced or transmitted in any 讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 ( 0 . 0 , 1) #偏 置 归 0 m. bias . data . zero_ () Chapter 3. 更完善的神经网络 17 注意 bias 是权重，因为当前层的 bias 会连接下一层的每个神经元，所以 bias 的 shape 是下 一层神经元个数。调用也很简单，定义网络对象后直接调用即可： model = NeuralNetwork () . to ( device

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������

网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 6 卷积神经网络 217 6.1 从全连接层到卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 6.1.1 不变性 4 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 7.7 稠密连接网络（DenseNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 7.7.1 从ResNet到DenseNet

尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm

. 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 例一：全连接网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . 3.2.7.1 Inception 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.2 卷积层上的残差连接 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.7.3 共享视觉模型 . . . . . . . . . . . . . . 84 5.4.12 GlobalAveragePooling3D [source] . . . . . . . . . . . . . . . . . . . . . . . 84 5.5 局部连接层 Locally-connected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.5.1 LocallyConnected1D

首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的 连接组成。 16 2.Transformer的工作流程 编码组件部分由一堆编 码器（encoder）构成 （论文中是将6个编码 器叠在一起）。解码组 件部分也是由相同数量 （与编码器对应）的解 接，并且都跟随着一个“层-归一化”步骤。 如果我们去可视化这些向量以及这个和自注意力相 关联的层-归一化操作，那么看起来就像下面这张 图描述一样： 37 2.Transformer的工作流程 归一化： 连接：基本的残差 连接方式 38 2.Transformer的工作流程 编码器通过处理输入序列开启 工作。顶端编码器的输出之后 会变转化为一个包含向量K（键 向量）和V（值向量）的注意力 向量集 。这些向量将被每个解 Transformer的工作流程 最终的线性变换和Softmax层 解码组件最后会输出一个实数向量。我们如何把 浮点数变成一个单词？这便是线性变换层要做的 工作，它之后就是Softmax层。 线性变换层是一个简单的全连接神经网络，它可 以把解码组件产生的向量投射到一个比它大得多 的、被称作对数几率（logits）的向量里。 不妨假设我们的模型从训练集中学习一万个不同 的英语单词（我们模型的“输出词表”）。因此 对

深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; • 全连接层块：由三个全连接层组成。 5 ? = 5 ? = 1 6 filter CONV1 POOL1 ? = 2 ? = 2 ? = 5 ? = 1 16 filter ? = 2 ? = 2 CONV2 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 LeNet 的10倍。 • 在最后一个卷积层后有两个全连接层，分别有4096个输出。 这两个巨大的全连接层拥有将近 1GB 的模型参数。 由于 早期 GPU 显存有限，原版的 AlexNet 采用了双数据流设计， 使得每个 GPU 只负责存储和计算模型的一半参数。 幸运 的是 Network）”。 DenseNet的创新点在于在网 络结构中引入了密集连接，使 特征复用和梯度传播更加容易 ，在处理图像分类、目标检测 、分割等问题中都取得了不错 的结果。 21 3.其它现代网络 DenseNet 总的来说，DenseNet和ResNet都是很优秀的卷积神经网络结构，但 DenseNet通过建立密集连接，使每一层都直接接收到多个之前层的特征图输 出，增强了特征的流动和复用

K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 10 1.无监督学习方法概述 聚类案例 4.搜索引擎 百度是人们使用的搜索引擎之一。举个例子，当 我们搜索一些信息，如在某地的超市，百度将为 我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 11 1.无监督学习方法概述 聚类案例 5 5 6 7 8 9 10 11 P13 P4 P2 P1 P3 P9 P8 P5 P6 P7 P12 P11 P10 • 将距离不超过Eps=3的点相互 连接，构成一个簇，核心点邻 域内的点也会被加入到这个簇 中。 X Y 36 密度聚类-DBSCAN DBSCAN的超参数 DBSCAN超参数案例 图片编号 (a) (b) (c) (d)

专 注 于 企 业 文 本 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 成熟，同样影响NLP领 域，从传统的机器学习 逐渐过渡到深度学习 NLP技术层次 日常工作中各类常见的文本形式 新闻文章 企业合同/公文 客户评论意见 企业产品手册 的特征提取算法包括： 词频 TF-IDF 互信息 信息增益 期望交叉熵 主成分分析 … 特征工程需要手工寻找特 征，花费大量人力，特征的 好坏往往决定最终结果 深度学习基础结构 基础神经元结构 多个神经元连接组成神经网络 字词表示 计算机 电脑 [ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] [ 0, 0, 0