based on the sentence's length. ## PyTorch ## • Fundamental Concepts of PyTorch • Tensors • Autograd • Modular structure • Models / Layers • Datasets • Dataloader • Visualization Tools like • value: • t.data • Accessing tensor gradient • t.grad • grad_fn – history of operations for autograd • t.grad_fn import torch N, D = 3, 4 x = torch.rand((N, D), requires_grad=True) y = torch.rand((N ndarray • torch.Tensor • CPU - torch.cpu.FloatTensor • GPU - torch.cuda.FloatTensor ## Autograd ## • Autograd • Automatic Differentiation Package • Don’t need to worry about partial differentiation

eta} $$ ### autograd.grad ## ☀️ ☁️ ☁️ In [15]: x=torch.ones(1) In [17]: w=torch.full([1],2) In [19]: mse=F.mse_loss(torch.ones(1), x*w) Out[20]: tensor(1.) In [21]: torch.autograd.grad(mse,[w]) [23]: torch.autograd.grad(mse,[w]) #RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn In [24]: mse=F.mse_loss(torch.ones(1), x*w) In [25]: torch.autograd.grad(mse, [w]) w=torch.full([1],2) In [19]: mse=F.mse_loss(torch.ones(1), x*w) Out[20]: tensor(1.) In [21]: torch.autograd.grad(mse,[w]) #RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

## PyTorch入门 黄海广 副教授 2022年03月 ## 本章目录 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 ### 1. Tensors张量 ## 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 ### 1. Tensors张量的概念 Tensor实际上就是一 两个运算符 @ 和 * @：矩阵乘法，自动执行适合的矩阵乘法函数 *: element-wise乘法 ### 2. Autograd自动求导 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 ### 2. Autograd自动求导 ### • PyTorch 1.x的自动微分机制  具体实例可参考书中2.7小节内容 ### 2. Autograd自动求导 ### PyTorch 1.x的Tensor不参与求导的几种方式 |张量操作|新建/共享内存|留在计算图中|使用场景| |---|---|---|---| |tensor.clone()|新建|是 (即tensor与tensor

080643c0185ff8788518410c6f2/p2_1.jpg) ## 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 ## 例如：  ) 在模型中必须要定义 forward 函数，backward 函数（用来计算梯度）会被 autograd 自动可以在 forward 函数中使用任何针对 Tensor 的操作。 net.parameters() 返回可被学习的参数（权重）列表和值 params = list(net.parameters()) - nn.Module：神经网络模块。封装参数、移动到 GPU 上运行、导出、加载等。 - nn.Parameter：一种变量，当把它赋值给一个Module时，被自动地注册为一个参数。 - autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史的函数的Function 节点。

[70]: y2=y1*w2+b2 In [72]: dy2_dy1=autograd.grad(y2,[y1],retain_graph=True)[0] In [73]: dy1_dw1=autograd.grad(y1,[w1],retain_graph=True)[0] In [74]: dy2_dw1=autograd.grad(y2,[w1],retain_graph=True)[0]

PyTorch，可以不需要手动推导导数的表达式，只需要给出函数的表达式，即可由 PyTorch 自动求导。上式的自动求导代码实现如下： import torch # 导入梯度计算函数 from torch import autograd # 创建 4 个张量 a = torch.tensor(1.) b = torch.tensor(2.) c = torch.tensor(3.) # 需要求导的张量，要设置 requires_grad requires_grad w = torch.tensor(4., requires_grad=True) # 构建计算过程 y = a * w**2 + b * w + c # 求导 w_grad = autograd.grad(y, [w]) print('w_grad: ', w_grad) 程序的运行结果为: w_grad : (tensor(10.),) 可以看到，PyTorch 杂，很难手动推导出模型和梯度的数学表达式。而且一旦网络结构发生少许变动，网络的模型函数也随之发生改变，依赖手动计算梯度的方式显然不可行。 这时就是深度学习框架发明的意义所在，借助于自动求导(Autograd)技术，深度学习框架在计算神经网络每层的输出以及损失函数的过程中，会内部构建神经网络的计算图模型，并自动完成误差对任意参数 $ \theta $ 的偏导数 $ \frac{\partial\ell}{\partial\theta}

memory/thread/driver 语音识别Istm/mn 自然语言处理 bert/transformer 用户接口python 静态执行 define and run 自动梯度求导 autograd 图优化 graph optimization 自动放置 auto placement 数据路由 bandwidth planner 执行体 actor 状态机 finite

torch.tensor(data).float() y_data = torch.tensor(label) print(x_data) print(y_data) from torch.autograd import Variable x_data, y_data = Variable(x_data), Variable(y_data) data2 = np.random.rand(1000

|---|---| |atomicwrites|Atomic file writes| |attrs|Declarative approach for defining class attributes| |Autograd|Gradient-based optimization| |backports.functools.lru-cache|Backports functools.lru\_cache from rite Python ASTs| |astunparse|An AST unparser for Python| |autograd|Efficiently computes derivatives of numpy code| |autograd-gamma|autograd compatible approximations to the derivatives of the Gamma-family

indexer QK path to reduce memory and computation. Fifth, for the training framework, we extend the autograd framework with tensor-level checkpointing for fine-grained recomputation control; and we enhance