## PyTorch ## 深度残差网络 主讲人：龙良曲 ## ResNet ## • The residual module - Introduce skip or shortcut connections (existing before in various forms in literature) • Make it easy for network layers to represent

GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 如何用go module构建模块化跨链平台 汪小益 趣链科技 ’ alt=‘OCR图片’/> 什么是区块链 跨链的重难点分析 跨链平台架构设计 Go module和plugin 的应用实践 GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 1 什么是区块链 GOPHER alt=‘OCR图片’/> 中继链模块与流程 ’ alt=‘OCR图片’/> 为什么需要模块化 1 中继链和网关有大量公共组件 网络模块 执行模块 验证模块 协议处理模块 加密模块 2 灵活适配不同需求和版本 应用链访问模块 以太坊 Fabric 趣链区块链 天平链 共识模块 PBFT RAFT POS POA HOTSTUFF Golang提供了两种模块化工具，一个是go module，一个是go / 2020-11.21-22 4 GO module和plugin实践 GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 4 GO modules实践：无处不在的模块 工具库（存储、加密、网络、日志等） https://github.com/meshplus/bitxhub-kit 验证引擎&IBTP协议库 https://github.com/meshplus/bitxhub-core

## 深度学习-深度卷积神经网络 黄海广 副教授 2023年04月 ## 本章目录 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 1. 经典网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ## 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成； ents/7/6/0/7/7607a8e8efef5c4a56eb4c0c25195190/p11_1.jpg) ### 2. 深度残差网络 01 经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 ### 2. 深度残差网络 梯度消失和梯度爆炸问题 w_{2}\sigma^{\prime}(z_{1}) $$ ### 2. 深度残差网络  ### 2. 深度残差网络 without skip connection ![Image](/uploads/docu

CMake # 现代 CMake 模块化项目管理指南 彭于斌 (@archibate) 课件 & 源码：https://github.com/parallel101/course 往期录播：https://space.bilibili.com/263032155 ## 第一章：文件 / 目录组织规范 基于 CMake 的 C/C++ 项目，如何优雅地、模块化地组织大量源文件？ ## 推荐的目录组织方式 目录组织格式： • 项目名 /include/ 项目名 / 模块名 .h • 项目名 /src/ 模块名 .cpp • CMakeLists.txt 中写： • target include directories(项目名 PUBLIC include) • 源码文件中写： • #include < 项目名 / 模块名 .h> • 项目名:: 函数名 (); ## 推荐的目录组织方式 推荐的目录组织方式 - 头文件（项目名 /include/ 项目名 / 模块名 .h）中写： • #pragma once • namespace 项目名 { • void 函数名(); • } • 实现文件（项目名 /src/ 模块名 .cpp）中写： • #include < 项目名 / 模块名 .h> • namespace 项目名 { • void 函数名 () {

2.6.1 基本概率论 ..... 74 2.6.2 处理多个随机变量 ..... 77 2.6.3 期望和方差 ..... 80 2.7 查阅文档 ..... 81 2.7.1 查找模块中的所有函数和类 ..... 81 2.7.2 查找特定函数和类的用法 ..... 82 3.1 线性回归 ..... 85 3.1.1 线性回归的基本元素 ..... 86 3.1 使用批量规范化层的 LeNet ..... 272 7.5.5 简明实现 ..... 273 7.5.6 争议 ..... 274 7.6 残差网络 (ResNet) ..... 275 7.6.1 函数类 ..... 276 7.6.2 残差块 ..... 277 7.6.3 ResNet模型 ..... 279 7.6.4 训练模型 ..... 282 7.7 稠密连接网络 ..... 410 10.7 Transformer ..... 413 10.7.1 模型 ..... 413 10.7.2 基于位置的前馈网络 ..... 415 10.7.3 残差连接和层规范化 ..... 416 10.7.4 编码器 ..... 417 10.7.5 解码器 ..... 419 10.7.6 训练 ..... 421 优化算法 ...

7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第8章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第9章 过拟合 9 10.7 池化层 10.8 BatchNorm 层 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种 10.12 深度残差网络 10.13 DenseNet 10.14 CIFAR10 与 ResNet18 实战 10.15 参考文献 第11章 循环神经网络 11.1 序列表示方法 SVM)为代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 年~2006 年之间的重大时间节点。 ![Image](/uploads/documents/a/7/7/d/a77d1afa688f

7df0f624a5e70022348082/p4_1.jpg) 首先，让我们看看在美团 App 内的一次完整的搜索行为主要涉及哪些技术模块。如下图所示，从点击输入框到最终的结果展示，从热门推荐，到动态补全、最终的商户列表展示、推荐理由的展示等，每一个模块都要经过若干层的模型处理或者规则干预，才会将最适合用户（指标）的结果展示在大家的眼前。 ![Image](/uploads/documen Augur 的时候，设立了明确的边界，故以上能力是独立于业务的，可以方便地进行复用。当然，Augur 的功能管理，更多的业务接入，都需要管理平台的承载。于是，我们就构建了 Poker 平台，其中的在线预估管理模块是服务于 Augur，可以进行模型特征以及业务配置的高效管理。我们将在下一小节进行介绍。 ### 4.3 建设预估平台：快速复用与高效管理 #### 4.3.1 能力的快速复用 Augur 在设计之初，就将所有业务逻辑通过 管理平台 Poker 的构建 实现一个框架价值的最大化，需要一个完整的体系去支撑。而一个合格的在线预估平台，需要一个产品级别的管理平台辅助。于是我们构建了Poker（搜索实验平台），其中的在线预估服务管理模块，也是Augur的最佳拍档。Augur是一个可用性较高的在线预估框架，而Poker+Augur则构成了一个好用的在线预估平台。下图是在线预估服务管理平台的功能架构： ![Image](/uploa

3.2.5 共享网络层 3.2.6 层「节点」的概念 3.2.7 更多的例子 ..... 22 3.2.7.1 Inception 模型 ..... 22 3.2.7.2 卷积层上的残差连接 ..... 23 3.2.7.3 共享视觉模型 ..... 23 3.2.7.4 视觉问答模型 ..... 24 3.2.7.5 视频问答模型 ..... 25 3.3 Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果，是做好研究的关键。 如果你在以下情况下需要深度学习库，请使用 Keras: - 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 - 同时支持卷积神经网络和循环神经网络，以及两者的组合。 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: 清晰和可操作的反馈。 - 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函数、正则化方法，它们都是可以结合起来构建新模型的模块。 - 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。

为什么需要用transformer 在没有transformer的时候，我们都是用什么来完成这系列的任务 的呢？ 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等）来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也使得它不能够并行计算，模型效率十分低。  Transformer的工作流程 归一化：  连接：基本的残差连接方式  ### 2. Transformer的工作流程