## PyTorch ### nn.Module 主讲人：龙良曲 ## ☐ ☐ ☐ class MyLinear(nn.Module): def __init__(self, inp, outp): super(MyLinear, self).__init__() # requires_grad = True self.w = nn.Parameter(torch.randn(outp + self.b return x ## Magic ### ■ Every Layer is nn.Module - nn.Linear - nn.BatchNorm2d - nn.Conv2d #### - nn.Module nested in nn.Module ### 1. embed current layers Linear ReLU Sigmoid Conv2d BasicNet(nn.Module): def __init__(self): super(BasicNet, self).__init__() self.net = nn.Linear(4, 3) def forward(self, x): return self.net(x) class Net(nn.Module): def

from nn.Module - init layer in ___init___ - implement forward() Step1. ☐ ☐ ☐ class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() ## Step2 ## ☀️ ☀️ ☁️ class MLP(nn.Module): ReLU(inplace=True), nn.Linear(200, 10), nn.ReLU(inplace=True), Step3. ☐ ☐ ☐ class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.model = nn.Sequential( nn.Linear(784

暂退概率。下面的模型将第一个和第二个隐藏层的暂退概率分别设置为0.2和0.5，并且暂退法只在训练期间有效。 dropout1, dropout2 = 0.2, 0.5 class Net(nn.Module): def __init__(self, num_inputs, num_outputs, num_hiddens1, num_hiddens2, is_training = True): 其具有256个隐藏单元的隐藏层和一个10维输出层。注意,下面的MLP类继承了表示块的类。我们的实现只需要提供我们自己的构造函数(Python中的__init__函数)和前向传播函数。 class MLP(nn.Module): # 用模型参数声明层。这里，我们声明两个全连接的层 def __init__(self): # 调用MLP的父类Module的构造函数来执行必要的初始化。 一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。 下面的MySequential类提供了与默认Sequential类相同的功能。 class MySequential(nn.Module): def __init__(self, *args): super().__init__() for idx, module in enumerate(args):

1.jpg) ## 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 ## 例如： : def __init__(self,): super(Net, self).__init__() # 输入图片通道数为 1，输出通道数为 6，卷积核大小为 在继续之前，我们回顾一下到目前为止用到的类。 ## 回顾: - torch.Tensor：一个用过自动调用backward()实现支持自动梯度计算的多维数组，并且保存关于个向量的梯度 w.r.t. - nn.Module：神经网络模块。封装参数、移动到 GPU 上运行、导出、加载等。 - nn.Parameter：一种变量，当把它赋值给一个Module时，被自动地注册为一个参数。 - autograd.F

a prediction, given the input x ## Model (example) ## • Example: class ManualLinearRegression(nn.Module): def __init__(self): super().__init__() # To make "a" and "b" ## • Complex Model Class ## • Predefined 'layer' modules class LayerLinearRegression(nn.Module): def __init__(self): super().__init__() # Instead of our custom parameters predictions return self.linear(x) ## • 'Sequential' layer modules class LayerLinearRegression(nn.Module): def __init__(self): super().__init__() # Instead of our custom parameters

model_executor.models.interfaces import SupportsVision - class YourModelForImage2Seq(nn.Module): + class YourModelForImage2Seq(nn.Module, SupportsVision): Note: The model class does not have to be MULTIMODAL_REGISTRY + @MULTIMODAL_REGISTRY.register_image_input_mapper() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` A default mapper is available for each modality in the core vLLM library ) @INPUT_REGISTRY.register_dummy_data() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` Here are some examples: - Image inputs (static feature size): LLaVA-1.5

model_executor.models.interfaces import SupportsVision - class YourModelForImage2Seq(nn.Module): + class YourModelForImage2Seq(nn.Module, SupportsVision): Note: The model class does not have to be MULTIMODAL_REGISTRY + @MULTIMODAL_REGISTRY.register_image_input_mapper() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` A default mapper is available for each modality in the core vLLM library ) @INPUT_REGISTRY.register_dummy_data() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` Here are some examples: - Image inputs (static feature size): LLaVA-1.5

构建神经网络 本章描述如何构建神经网络模型。 ### 2.1 基本网络结构 我们定义神经网络的结构。在 pytorch 中要想使用神经网络，需要继承 nn.Module: class NeuralNetwork(nn.Module): def __init__(self): super(NeuralNetwork, self).__init__() 表示测试集的数据和标签。 网络结构相对来说比较简单，由于并不是图像数据，所以设置的网络神经元数量大大减少： import torch.nn as nn class NeuralNetwork(nn.Module): def __init__(self): super(NeuralNetwork, self).__init__() # 把数组降到1维

model_executor.models.interfaces import SupportsVision - class YourModelForImage2Seq(nn.Module): + class YourModelForImage2Seq(nn.Module, SupportsVision): Note: The model class does not have to be named *ForCausalLM MULTIMODAL_REGISTRY + @MULTIMODAL_REGISTRY.register_image_input_mapper() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` A default mapper is available for each modality in the core vLLM library ) @INPUT_REGISTRY.register_dummy_data() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` Here are some examples: - Image inputs (static feature size): LLaVA-1.5

model_executor.models.interfaces import SupportsVision - class YourModelForImage2Seq(nn.Module): + class YourModelForImage2Seq(nn.Module, SupportsVision): Note: The model class does not have to be named *ForCausalLM MULTIMODAL_REGISTRY + @MULTIMODAL_REGISTRY.register_image_input_mapper() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` A default mapper is available for each modality in the core vLLM library ) @INPUT_REGISTRY.register_dummy_data() class YourModelForImage2Seq(nn.Module, SupportsVision): ``` Here are some examples: - Image inputs (static feature size): LLaVA-1.5