• Training & Testing Neural Networks in Pytorch • Dataset & Dataloader • Tensors • torch.nn: Models, Loss Functions • torch.optim: Optimization • Save/load models ## Prerequisites • We Neural Network Loss Function Training Optimization Algorithm Load Data Validation Testing ### torch.nn – Network Layers • Linear Layer (Fully-connected Layer) nn.Linear(in_features, out_features) last dimension must be 32) e.g. $ (10, 32) $ , $ (10, 5, 32) $ , $ (1, 1, 3, 32) $ , ... ### torch.nn – Network Layers • Linear Layer (Fully-connected Layer) ![Image](/uploads/documents/7/6/e/1/7

[Image](/uploads/documents/7/8/a/d/78ade080643c0185ff8788518410c6f2/p2_1.jpg) ## 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 更新网络的参数，主要使用如下简单的更新原则：weight = weight - learning_rate * gradient ## 定义网络 开始定义一个网络： import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self,): super(Net 将所有参数的梯度缓存清零，然后进行随机梯度的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) ## note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 例如，nn.Conv2d 接受一个4维的张量，每一维分别是 sSamples * nChannels * Height * Width（本数

requires_grad=False 的 ### 3. 神经网络 01 Tensors张量 ## 02 Autograd自动求导 03 神经网络 04 训练一个分类器 ### 3. 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包, nn包依赖autograd包来定义模型并求导. 一个nn.Module包含各个层和一个forward(input)方法, 该方法返回output。 理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。 ### 4. 训练一个分类器 ### torch.nn 计算图和autograd是十分强大的工具，可以定义复杂的操作并自动求导；然而对于大规模的网络，autograd太过于底层。在构建神经网络时，我们经常考虑将计算安排成层，其中一些具有可学习的参数，它们将在学习过程中进行优化。

0&\quad for x<0\\ 1&\quad for x\geq0\end{aligned}\right. $$ ## ☐ ☐ ☐ In [11]: from torch.nn import functional as F In [12]: a=torch.linspace(-1,1,10) In [13]: torch.relu(a) Out[13]: tensor([0

to ./data Files already downloaded and verified # Define a convolutional neural network import torch.nn as nn import torch.nn.functional as F import torch.optim as optim ### class Net(nn.Module):

(continues on next page) import torchvision from PIL import Image from torch import nn from torch.nn import functional as F from torch.utils import data from torchvision import transforms ## 目标受众 个具有256个单元和ReLU激活函数的全连接隐藏层，然后是一个具有10个隐藏单元且不带激活函数的全连接输出层。 import torch from torch import nn from torch.nn import functional as F net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10)) X 我们可以直接调用load和save函数分别读写它们。这两个函数都要求我们提供一个名称,save要求将要保存的变量作为输入。 import torch from torch import nn from torch.nn import functional as F x = torch.arange(4) torch.save(x, 'x-file') 我们现在可以将存储在文件中的数据读回内存。

的数据对象 DataLoader 格式。代码如下： import torch # 导入 pytorch from torch import nn # 导入 pytorch 的网络层子库 from torch.nn import functional as F # 导入网络层函数子库 from torch import optim # 导入优化器 import torchvision # 导入视觉库 损失和准确度曲线 以均方误差函数为例，经过 F.mse_loss 函数返回每个样本上的误差值，最后取误差的均值作为当前 Batch 的误差，它是一个标量，代码如下： In [41]: from torch.nn import functional as F # 导入函数库 out = torch.randn(4,10) # 随机模拟网络输出 y = torch.tensor([2,3,2,0]) tensor(5.3181)) 在求解神经网络的时，通过需要计算目标值与预测值的差的平方和，再计算样本上的平均误差。首先计算目标值与预测值的差的平方和，实现如下： In [20]: from torch.nn import functional as F out = torch.randn([4,10]) # 模拟网络预测输出 y = torch.tensor([1,2,2,0]) # 模拟真实标签

的模块与功能 Pytorch 当前支持绝大多数的深度学习常见的算子操作，基于相关的功能模块可以快速整合数据、构建与设计模型、实现模型训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激活函数、序贯模型（Sequential）、功能函数（functional）、损失

表示训练集的数据和标签； $ x\_data2, y\_data2 $ 表示测试集的数据和标签。 网络结构相对来说比较简单，由于并不是图像数据，所以设置的网络神经元数量大大减少： import torch.nn as nn class NeuralNetwork(nn.Module): def __init__(self): super(NeuralNetwork, self)

time import uuid from functools import partial from typing import Type import torch import torch.nn as nn from tensorizer import (DecryptionParams, EncryptionParams, TensorDeserializer,