image. The container also includes the following: ‣ Ubuntu 22.04 including Python 3.10 ‣ NVIDIA CUDA® 12.1.1 ‣ NVIDIA cuBLAS 12.1.3.1 ‣ NVIDIA cuDNN 8.9.3 ‣ NVIDIA NCCL 2.18.3 ‣ NVIDIA RAPIDS™ 23 Release 23.07 PyTorch RN-08516-001_v23.07 | 6 Driver Requirements Release 23.07 is based on CUDA 12.1.1, which requires NVIDIA Driver release 530 or later. However, if you are running on a data center R530). The CUDA driver's compatibility package only supports particular drivers. Thus, users should upgrade from all R418, R440, R460, and R520 drivers, which are not forward- compatible with CUDA 12.1. For

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 基本网络结构 11 2.2 使用 cuda 来训练网络 13 3 更完善的神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 维标量是一种 tensor； 的网络训练会自动帮你进行转换，所以我们不需要自己去操作，因此并不需要 设置 target_transf orm。 前两节的源码参见 chapter1.py。 2. 构建神经网络 2.1 基本网络结构 11 2.2 使用 cuda 来训练网络 13 本章描述如何构建神经网络模型。 2.1 基本网络结构 我们定义神经网络的结构。在 pytorch 中要想使用神经网络，需要继承 nn.Module： c l a s s

3.1 创建和运行EC2实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750 16.3.2 安装CUDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755 16.3.3 安装库以运行代码 环境： conda activate d2l 安装深度学习框架和d2l软件包 在安装深度学习框架之前，请先检查计算机上是否有可用的GPU。例如可以查看计算机是否装有NVIDIA GPU并已安装CUDA9。如果机器没有任何GPU，没有必要担心，因为CPU在前几章完全够用。但是，如果想 流畅地学习全部章节，请提早获取GPU并且安装深度学习框架的GPU版本。 我们可以按如下方式安装PyTorch的CPU或GPU版本： ow系统的命令行窗口中运行以下命令前， 需先将当前路径定位到刚下载的本书代码解压后的目录）： jupyter notebook 9 https://developer.nvidia.com/cuda‐downloads 10 目录 现在可以在Web浏览器中打开http://localhost:8888（通常会自动打开）。由此，我们可以运行这本书中每个 部分的代码。在运行书籍代码、更新深

tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 模块、优化器 torch.optim 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 库中的一些常见 模型库与功能函数，主要包括对象检测模块与模型库、图象数 据增强与预处理模块等。 以上并不是 Windows 下相同的命令行完成 pytorch 安装校验 测试。这样我们就完成了 Pytorch 的环境搭建，这里有个很特 别的地方需要注意，就是 Pytorch 的 GPU 版本需要 CUDA 驱 动支持与 CUDA 库的安装配置支持。关于这块的安装强烈建 议参照英伟达官方网站的安装指导与开发者手册。 1.3 Pytorch 基础术语与概念 很多人开始学习深度学习框架面临的第一个问题就是专业术语 如下： gpu = torch.cuda.is_available() for i in range(torch.cuda.device_count()): PyTorch + OpenVINO 开发实战系列教程 第一篇 9 print(torch.cuda.get_device_name(i)) if gpu: print(x.cuda()) y = torch.tensor([1

to(‘cpu’) ● GPU x = x.to(‘cuda’) Tensors – Device (GPU) ● Check if your computer has NVIDIA GPU torch.cuda.is_available() ● Multiple GPUs: specify ‘cuda:0’, ‘cuda:1’, ‘cuda:2’, ... ● Why use GPUs? 1) read data via MyDataset put dataset into Dataloader construct model and move to device (cpu/cuda) set loss function set optimizer Neural Network Training Loop for epoch in range(n_epochs): model to train mode iterate through the dataloader set gradient to zero move data to device (cpu/cuda) forward pass (compute output) compute loss compute gradient (backpropagation) update model with

cpu_b.device) # 创建使用 GPU 运算的 2 个矩阵 gpu_a = torch.randn([1, n]).cuda() gpu_b = torch.randn([n, 1]).cuda() print(n, gpu_a.device, gpu_b.device) 接下来实现 CPU 和 GPU 运算的函数，并通过 timeit 系统，NVIDIA GPU 和 Python 语言环境为例，介绍如何安装 PyTorch 框架及其它开发软件。 一般来说，开发环境安装分为 4 大步骤：安装 Python 解释器 Anaconda，安装 CUDA 加速库，安装 PyTorch 框架和安装常用编辑器。 1.6.1 Anaconda 安装 Python 解释器是让以 Python 语言编写的代码能够被 CPU 执行的桥梁，是 Python 1.6.2 CUDA 安装 目前的深度学习框架大都基于 NVIDIA 的 GPU 显卡进行加速运算，因此需要安装 NVIDIA 提供的 GPU 加速库 CUDA 程序。在安装 CUDA 之前，请确认计算机具有支持 CUDA 程序的 NVIDIA 显卡设备。如果计算机没有 NVIDIA 显卡，例如部分计算机显卡生 产商为 AMD 或 Intel，则无法安装 CUDA 程序，因此可以跳过这一步，直接进入

模型，其中包含 Qwen1. 5-7B-Chat 的实例： from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda" # the device to load the model onto # Now you do not need to add "trust_remote_code=True" model chat。以下是一个如何与 Qwen1.5-7B-Chat 进行对话的示例： from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda" # the device to load the model onto # Now you do not need to add "trust_remote_code=True" model 一个非常简单的代码片段，展示如何运行量化模型 Qwen1.5-7B-Chat-AWQ ： from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda" # the device to load the model onto model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen1.5-7B-Chat-AWQ"

开发环境准备 主讲人：龙良曲 开发环境 ▪ Python 3.7 + Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter PyCharm

gradient • t.grad • grad_fn – history of operations for autograd • t.grad_fn Loading Data, Devices and CUDA • Numpy arrays to PyTorch tensors • torch.from_numpy(x_train) • Returns a cpu tensor! • PyTorch numpy() • Using GPU acceleration • t.to() • Sends to whatever device (cuda or cpu) • Fallback to cpu if gpu is unavailable: • torch.cuda.is_available() • Check cpu/gpu tensor OR numpy array ? • type(t) type(t) or t.type() • returns • numpy.ndarray • torch.Tensor • CPU - torch.cpu.FloatTensor • GPU - torch.cuda.FloatTensor *Assume 't' is a tensor Autograd • Autograd • Automatic Differentiation Package • Don’t

train(model, tds, vds, epochs=100) Epoch 1/100 2021-11-09 14:44:20.431426: I tensorflow/stream_executor/cuda/cuda_dnn.cc:369] Loaded cuDNN version 8005 32/32 [==============================] - 366s 12s/step - train(model, tds, vds, epochs=100) Epoch 1/100 2021-11-09 15:38:34.694059: I tensorflow/stream_executor/cuda/cuda_dnn.cc:369] Loaded cuDNN version 8005 63/63 [==============================] - 380s 6s/step -