## PyTorch ## 深度残差网络 主讲人：龙良曲 ## ResNet ## • The residual module - Introduce skip or shortcut connections (existing before in various forms in literature) • Make it easy for network layers to represent

## 深度学习-深度卷积神经网络 黄海广 副教授 2023年04月 ## 本章目录 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 1. 经典网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ## 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成； ents/7/6/0/7/7607a8e8efef5c4a56eb4c0c25195190/p11_1.jpg) ### 2. 深度残差网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 2. 深度残差网络 梯度消失和梯度爆炸问题 w_{2}\sigma^{\prime}(z_{1}) $$ ### 2. 深度残差网络  ### 2. 深度残差网络 without skip connection ![Image](/uploads/docu

CMake # 现代 CMake 模块化项目管理指南 彭于斌 (@archibate) 课件 & 源码：https://github.com/parallel101/course 往期录播：https://space.bilibili.com/263032155 ## 第一章：文件 / 目录组织规范 基于 CMake 的 C/C++ 项目，如何优雅地、模块化地组织大量源文件？ ## 推荐的目录组织方式 目录组织格式： • 项目名 /include/ 项目名 / 模块名 .h • 项目名 /src/ 模块名 .cpp • CMakeLists.txt 中写： • target include directories(项目名 PUBLIC include) • 源码文件中写： • #include < 项目名 / 模块名 .h> • 项目名:: 函数名 (); ## 推荐的目录组织方式 推荐的目录组织方式 - 头文件（项目名 /include/ 项目名 / 模块名 .h）中写： • #pragma once • namespace 项目名 { • void 函数名(); • } • 实现文件（项目名 /src/ 模块名 .cpp）中写： • #include < 项目名 / 模块名 .h> • namespace 项目名 { • void 函数名 () {

2.6.1 基本概率论 ..... 74 2.6.2 处理多个随机变量 ..... 77 2.6.3 期望和方差 ..... 80 2.7 查阅文档 ..... 81 2.7.1 查找模块中的所有函数和类 ..... 81 2.7.2 查找特定函数和类的用法 ..... 82 3.1 线性回归 ..... 85 3.1.1 线性回归的基本元素 ..... 86 3.1 使用批量规范化层的 LeNet ..... 272 7.5.5 简明实现 ..... 273 7.5.6 争议 ..... 274 7.6 残差网络 (ResNet) ..... 275 7.6.1 函数类 ..... 276 7.6.2 残差块 ..... 277 7.6.3 ResNet模型 ..... 279 7.6.4 训练模型 ..... 282 7.7 稠密连接网络 ..... 410 10.7 Transformer ..... 413 10.7.1 模型 ..... 413 10.7.2 基于位置的前馈网络 ..... 415 10.7.3 残差连接和层规范化 ..... 416 10.7.4 编码器 ..... 417 10.7.5 解码器 ..... 419 10.7.6 训练 ..... 421 优化算法 ...

7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第8章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第9章 过拟合 9 10.7 池化层 10.8 BatchNorm 层 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种 10.12 深度残差网络 10.13 DenseNet 10.14 CIFAR10 与 ResNet18 实战 10.15 参考文献 第11章 循环神经网络 11.1 序列表示方法 SVM)为代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 年~2006 年之间的重大时间节点。 ![Image](/uploads/documents/a/7/7/d/a77d1afa688f

7df0f624a5e70022348082/p4_1.jpg) 首先，让我们看看在美团 App 内的一次完整的搜索行为主要涉及哪些技术模块。如下图所示，从点击输入框到最终的结果展示，从热门推荐，到动态补全、最终的商户列表展示、推荐理由的展示等，每一个模块都要经过若干层的模型处理或者规则干预，才会将最适合用户（指标）的结果展示在大家的眼前。 ![Image](/uploads/documen Augur 的时候，设立了明确的边界，故以上能力是独立于业务的，可以方便地进行复用。当然，Augur 的功能管理，更多的业务接入，都需要管理平台的承载。于是，我们就构建了 Poker 平台，其中的在线预估管理模块是服务于 Augur，可以进行模型特征以及业务配置的高效管理。我们将在下一小节进行介绍。 ### 4.3 建设预估平台：快速复用与高效管理 #### 4.3.1 能力的快速复用 Augur 在设计之初，就将所有业务逻辑通过 管理平台 Poker 的构建 实现一个框架价值的最大化，需要一个完整的体系去支撑。而一个合格的在线预估平台，需要一个产品级别的管理平台辅助。于是我们构建了Poker（搜索实验平台），其中的在线预估服务管理模块，也是Augur的最佳拍档。Augur是一个可用性较高的在线预估框架，而Poker+Augur则构成了一个好用的在线预估平台。下图是在线预估服务管理平台的功能架构： ![Image](/uploa

3.2.5 共享网络层 3.2.6 层「节点」的概念 3.2.7 更多的例子 ..... 22 3.2.7.1 Inception 模型 ..... 22 3.2.7.2 卷积层上的残差连接 ..... 23 3.2.7.3 共享视觉模型 ..... 23 3.2.7.4 视觉问答模型 ..... 24 3.2.7.5 视频问答模型 ..... 25 3.3 Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果，是做好研究的关键。 如果你在以下情况下需要深度学习库，请使用 Keras: - 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 - 同时支持卷积神经网络和循环神经网络，以及两者的组合。 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: 清晰和可操作的反馈。 - 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函数、正则化方法，它们都是可以结合起来构建新模型的模块。 - 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。

为什么需要用transformer 在没有transformer的时候，我们都是用什么来完成这系列的任务 的呢？ 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等）来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也使得它不能够并行计算，模型效率十分低。  Transformer的工作流程 归一化：  连接：基本的残差连接方式  ### 2. Transformer的工作流程

2.1 Hardware-friendly 的骨干网络设计 YOLOv5/YOLOX 使用的 Backbone 和 Neck 都基于 CSPNet $ ^{[5]} $ 搭建，采用了多分支的方式和残差结构。对于 GPU 等硬件来说，这种结构会一定程度上增加延时，同时减小内存带宽利用率。下图 2 为计算机体系结构领域中的 Roofline Model $ ^{[8]} $ 介绍图，显示了硬件中计算能力和内存带宽之间的关联关系。 ，主要特点是速度快、精度高、部署友好，在美团众多视觉业务场景中都有着广泛的应用。通过量化（Quantization）提升推理速度是实际工业应用中的基本操作，但由于 YOLOv6 系列模型采用了大量的重参数化模块，如何针对 YOLOv6 进行高效和高精度的量化成为一个亟待解决的问题。本文旨在解决 YOLOv6 量化方面的难题，并以 YOLOv6s 模型为例，从训练后量化（Post-Training Quantization 较好地解决了重参数化结构的量化问题。 #### 2.1.1 RepOpt RepOpt $ ^{[3]} $ 对重参数化结构量化困难的问题进行了研究，发现重参数结构的分支融合操作，显著放大了权重参数分布的标准差。异常的权重分布产生了过大的网络激活层数值分布，进一步导致该层量化损失过大，因此模型精度损失严重。 鉴于此，我们统计了基于 RepVGG 结构的 YOLOv6 模型（YOLOv6s_repvgg）各层的权重及激活数值分布，分析了

在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥，用户为了办事需要下载多个APP，成为一种负担。 ## 3、 优化不足体验差 政务APP接入政务服务，没有结合移动端的访问特性进行移动化改造，用户体验差。 4、缺少持续运营： 政务APP运营维护乏力，版本迭代缓慢，存在大量僵尸应用。 资料来源 CAICT中国信息通信研究院《政务服务APP发展情况研究报告》 度残疾人护理补贴申请跑0次1次16项->4项2附件残联、民政南粤扶残助学补贴申请跑0次1次14项->5项1附件残联、教育残疾人税收减免< 现。Etcd已经在很多分布式系统中得到广泛的使用。Etcd采用raft协议，来保证一致性。 2.后台服务采用Go开发，围绕业务功能需求，构建后台服务模块 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 ![Image](/uploads/documents/e/4/6/6/e4669c26f76982547411ae149ccf0496/p18_1