�������������������� 11 概述 大家好，本章是主要介绍一下深度学习框架 Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 学者面临的第一个学习障碍。在主流的面向对象编程语言中， 结构化代码最常见的关键字是 if、else、while、for 等关键字， 而在深度学习框架中编程模式主要是基于计算图、张量数据、 自动微分、优化器等组件构成。面向对象编程运行的结果是交 互式可视化的，而深度学习通过训练模型生成模型文件，然后 再使用模型预测，本质数据流图的方式工作。所以学习深度学 习首先必须厘清深度学习编程中计算图、张量数据、自动微分、

12 Transformer Transformer —— 大力出奇迹的起点 • 在Transformer提出之后，大模型的基础模 型架构基本形成，注意力机制代替卷积神 经网络称为主流基础模型组件 – 有利于模型向更大的参数量扩展 – Transformer有兼容多模态信息的天生优势特 性，这有力地丰富了大模型的应用场景。 参数少 速度快 效果好 13 2.Transformer的工作流程 首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的 连接组成。 16 2.Transformer的工作流程 编码组件部分由一堆编 码器（encoder）构成 （论文中是将6个编码 器叠在一起）。解码组 件部分也是由相同数量 （与编码器对应）的解 码器（decoder）组成 这个例子里，是英语翻译的句子）的元素 39 2.Transformer的工作流程 最终的线性变换和Softmax层 解码组件最后会输出一个实数向量。我们如何把 浮点数变成一个单词？这便是线性变换层要做的 工作，它之后就是Softmax层。 线性变换层是一个简单的全连接神经网络，它可 以把解码组件产生的向量投射到一个比它大得多 的、被称作对数几率（logits）的向量里。 不妨假设我们的模型从训练集中学习一万个不同

读取小批量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 3.5.3 整合所有组件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 3.6 softmax回归的从零开始实现 。机器学习是一门具有前瞻性的学科，在现 实世界的应用范围很窄。而那些应用，例如语音识别和计算机视觉，需要大量的领域知识，以至于它们通常 被认为是完全独立的领域，而机器学习对这些领域来说只是一个小组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模 切。在这 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节

t.git cd Qwen-Agent pip install -e ./ 1.14.2 开发您自己的智能体 Qwen-Agent 提供包括语言模型和提示词等原子级组件，及智能体等高级组件在内的多种组件。以下示例选 取助理组件进行展示，阐述了如何整合自定义工具以及如何迅速开发出一个能够应用这些工具的代理程序。 import json import os import json5 import run(messages=messages): print('bot response:', response) messages.extend(response) 该框架还为开发者提供了更多的原子组件以供组合使用。欲了解更多示例，请参见 examples。 1.14. Qwen-Agent 41 Qwen 1.15 LlamaIndex 为了实现 Qwen1.5 与外部数据（例如文档、网页等）的连接，我们提供了

Torch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注

你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Conv* *norm *Aative *Loss functional

即可下载 CUDA 安装软件。下载完成后，打开安装软件。如图 1.23 所示，选择“Custom”选项， 点击 NEXT 按钮进入图 1.26 安装程序选择列表，在这里选择需要安装和取消不需要安装 的程序组件。在 CUDA 节点下，取消”Visual Studio Integration”一项；在“Driver 预览版202112 1.6 开发环境安装 19 components” 之间存在既竞争，又合作的交错关系，甚至连 Keras 创始人都在 Google 工作。早在 2015 年 11 月，TensorFlow 就被加入 Keras 后端支持。从 2017 年开始， Keras 的大部分组件被整合到 TensorFlow 框架中。2019 年，在 TensorFlow 2 版本中，Keras 被正式确定为 TensorFlow 的高层唯一接口 API，取代了 TensorFlow 1 版本中自带的 之间存在既竞争，又合作的交错关系，甚至连 Keras 创始人都在 Google 工作。早在 2015 年 11 月，TensorFlow 就被加入 Keras 后端支持。从 2017 年开始， Keras 的大部分组件被整合到 TensorFlow 框架中。2019 年，在 TensorFlow 2 版本中，Keras 被正式确定为 TensorFlow 的高层唯一接口 API，取代了 TensorFlow 1 版本中自带的