疏学浅，略懂皮毛，同时也限于时间和篇幅关系，难免出现理解偏差甚至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021年10月19日 ## 声明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、transformer、speechbrain 接口设计频繁变动，功能设计重复冗余，符号式编程开发和调试非常困难等问题，TensorFlow 1.x 版本一度被业界诟病。2019 年，Google 推出 TensorFlow 2 正式版本，将以动态图优先模式运行，从而能够避免 TensorFlow 1.x 版本的诸多缺陷。 ☐ PyTorch 是 Facebook 基于原 Torch 框架推出的采用 Python 作为主要开发语言的深度学习框架。PyTorch #### 1.5.2 静态图和动态图 虽然深度学习框架数量众多，但是大体上可以分为两类：基于静态图的和基于动态图的。基于静态图的代表性框架是 TensorFlow 1，特点是建立计算图过程和实际计算过程是分开的；PyTorch 是基于动态图的流行框架，特点是计算图的建图过程和计算过程是同时进行的。 下面以简单的 $ 2.0 + 4.0 $ 的加法运算为例，介绍静态图和动态图的主要区别。首先介绍静态图，以TensorFlow

003|33.006| ### 3. 静态图与动态图 ·动态图：运算与搭建同时进行 •静态图：先搭建图，后运算 根据计算图搭建方式，可将计算图分为动态图和静态图 PyTorch 是支持动态图的，可以在进行运算的同时进行 TensorFlow 是支持静态图的，需要在计算之前，先进行搭建（TensorFlow 2.X引入了动态图） ### 4. 静态图与动态图 ## TensorFlow:先搭建所有的计算图之后，再把数据输入进去 TensorFlow:先搭建所有的计算图之后，再把数据输入进去 ## PyTorch:动态图的搭建是根据每一步的计算搭建的 N, D, H = 64, 1000, 100 x = tf.placeholder(tf.float32, shape=(N, D)) y = tf.placeholder(tf.float32, shape=(N, D)) w1 = tf.Variable(tf.random_normal((D, clamp(min=0).mm(w2) loss = (y_pred - y).pow(2).sum() loss.backward() 每次迭代中创建图 ### 4. 静态图与动态图 W_h = torch.randn(20, 20, requires_grad=True) # 先创建四个张量 W_x = torch.randn(20, 10, requires_grad=True)

各个计算图节点之间流动，最终输出，因此计算图又被称为数据流图。根据构建计算图的方式不同还可以分为静态图与动态图，Pytorch 默认是基于动态图的方式构建计算图，动态图采用类似 python 语法，可以随时运行，灵活修改调整；而静态图则是效率优先，但是在图构建完成之前无法直接运行。可以看出动态图更加趋向于开发者平时接触的面向对象的编程方式，也更容易被开发者理解与接受。下图是一个简单的计算图示例：

## (1) 完善支持当前流行的图神经网络模型。 从图本身的类型来看，图神经网络模型可以分为同质图 (Homogeneous Graph)、异质图 (Heterogeneous Graph)、动态图 (Dynamic Graph) 等类型。从训练方式来看，又可以分为全图消息传递 $ ^{[4]} $ 和基于子图采样的消息传递 $ ^{[8]} $ 等类型。从推理方式来看，还可以分为直推式和归纳式 务场景对图神经网络的模型和下游任务的需求是不同的，需要个性化定制。例如在美食推荐场景中，存在用户、商家、菜品等节点，刻画其相互关系可以用同质图或异质图；为了刻画用户在不同时间的偏好，可能还需要使用动态图模型；针对推荐系统的召回和排序两个阶段，还需要设计不同的训练任务。尽管现有框架都提供常见模型的实现，但简单调用这些模型不能满足上述需求。此时便需要用户自行开发模型和训练流程代码，这就带来了额外的工作 到损失函数类型，都可以通过一套配置文件来控制。针对业务应用的常见场景，我们总结了若干训练模版，研发人员通过修改配置即可适配多数业务场景。例如，许多业务存在午晚高峰的周期性波动，我们为此设计了周期性动态图的训练模板，可以为一天中不同时段产生不同的 GNN 表示。在美团配送业务的应用中，需要为每个区域产生不同时段下的 GNN 表示，作为下游预测任务的输入特征。开发过程中，从开始修改配置到产出初版模型仅

Facebook • Torch7 • Caffe $$ \mathsf{PyTorch}+\mathsf{Caffe2} $$ ## Amazon • MXNet ## 王者之争 ## 动态图 ## A graph is created on the fly W_h = torch.randn(20, 20, requires_grad=True) W_x = torch.randn(20

自动化网络结构设计 VisualDL 训练可视化工具 EDL 弹性深度学习计算 模型库 PaddleRec 核心框架 PaddleNLP PaddleCV 开发 训练 预测 动态图 静态图 大规模分布式训练 工业级数据处理 Paddle Serving Paddle Mobile PaddleSlim 安全与加密 ## PaddlePaddle-大规模异构计算集群

Tensorboard 基本可视化。 TensorBoard 是由 Tensorflow 提供的一个可视化工具。 这个回调函数为 Tensorboard 编写一个日志，这样你可以可视化测试和训练的标准评估的动态图像，也可以可视化模型中不同层的激活值直方图。 如果你已经使用 pip 安装了 Tensorflow，你应该可以从命令行启动 Tensorflow: tensorboard --logdir=/f

· 图形原型： • 简单图形； · 简单图形原型； · 纯文本； • URL。 Note: 点击一个动态图形就可以查看它的全部师徒；尽管目前仅使用默认主机支持的自定义图形和图形原型（即主机在下拉列表中未选中）。当下拉菜单中选择另一个主机时，使用该主机的监控项数据创建动态图，并且生成的图形不可点击。 Note: 动态 URL 元素不会显示在监测中 -> 聚合图形中，除非选择了

· 图形原型： • 简单图形； · 简单图形原型； · 纯文本； • URL。 Note: 点击一个动态图形就可以查看它的全部师徒；尽管目前仅使用默认主机支持的自定义图形和图形原型（即主机在下拉列表中未选中）。当下拉菜单中选择另一个主机时，使用该主机的监控项数据创建动态图，并且生成的图形不可点击。 Note: 动态 URL 元素不会显示在监测中 -> 聚合图形中，除非选择了

· 图形原型： • 简单图形； · 简单图形原型； · 纯文本； • URL。 Note: 点击一个动态图形就可以查看它的全部师徒；尽管目前仅使用默认主机支持的自定义图形和图形原型（即主机在下拉列表中未选中）。当下拉菜单中选择另一个主机时，使用该主机的监控项数据创建动态图，并且生成的图形不可点击。 Note: 动态 URL 元素不会显示在监测中 -> 聚合图形中，除非选择了