tensor(1.) b = torch.tensor(2.) 预览版202112 1.6 开发环境安装 17 c = torch.tensor(3.) # 需要求导的张量，要设置 requires_grad w = torch.tensor(4., requires_grad=True) # 构建计算过程 y = a * w**2+ b * w + c # 求导 自带的显卡驱动版本号“New Version”，如果“Current Version”大于“New Version”，则需要取消“Display Driver”的勾，如果小于或等于，则 默认勾选即可，如图 1.27 所示。设置完成后即可正常安装。 图 1.25 CUDA 安装界面-1 图 1.26 CUDA 安装界面-2 安装完成后，我们来测试 CUDA 软件是否安装成功。打开 cmd 命令行，输入“nvcc 函数值增大的方向，那么梯度的反方向−∇?则指向函数值减少的方向。利用这一性质，只 需要按照 ?′ = ? − ? ∙ ∇? (2.1) 来迭代更新?′，就能获得越来越小的函数值，其中?用来缩放梯度向量，一般设置为某较小 的值，如 0.01、0.001 等。特别地，对于一维函数，上述向量形式可以退化成标量形式： ?′ = ? − ? ∙ d? d? 通过上式迭代更新?′若干次，这样得到的?′处的函数值

Dagar和唐源将 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 特别地，我们要感谢这份中文稿的每一位撰稿人，是他们的无私奉献让这本书变得更好。他们的GitHub ID或姓名是(没有特定顺序)：alxnorden, avinashingit 引言 看，它们似乎是相似的任务。然而，如果我们想处理完全不同的输入或输出，比如：从图像映射到字幕，或 从英语映射到中文，可能需要一个完全不同的模型族。 但如果模型所有的按钮（模型参数）都被随机设置，就不太可能识别出“Alexa”“Hey Siri”或任何其他单 词。在机器学习中，学习（learning）是一个训练模型的过程。通过这个过程，我们可以发现正确的参数集， 从而使模型强制执行所需 射到对应的已知字符之上。这种“哪一个”的问题叫做分类（classification）问题。分类问题希望模型能够预 测样本属于哪个类别（category，正式称为类（class））。例如，手写数字可能有10类，标签被设置为数字0～ 9。最简单的分类问题是只有两类，这被称之为二项分类（binomial classification）。例如，数据集可能由动 物图像组成，标签可能是{�, �}两类。回归是训练一个回归

损失函数的字符串标识符，如 categorical_crossentropy 或 mse，也可以是一个目标函数。详见：losses。 • 评估标准 metrics。对于任何分类问题，你都希望将其设置为 metrics = ['accuracy']。 评估标准可以是现有的标准的字符串标识符，也可以是自定义的评估标准函数。 # 多分类问题 model.compile(optimizer='rmsprop' my_keras_script.py ”gpu” 可能需要根据你的设备标识符（例如 gpu0，gpu1 等）进行更改。 方法 2: 创建 .theanorc: 指导教程 方法 3: 在代码的开头手动设置 theano.config.device, theano.config.floatX： import theano theano.config.device = 'gpu' theano.config 更多信息请查看 callbacks 文档。 3.3.11 验证集划分是如何计算的？ 如果您将 model.fit 中的 validation_split 参数设置为 0.1，那么使用的验证数据将是最 后 10％的数据。如果设置为 0.25，就是最后 25% 的数据。注意，在提取分割验证集之前，数据不 会被混洗，因此验证集仅仅是传递的输入中最后一个 x％的样本。 所有 epoch 都使用相同的验证集（在同一个

参数用于在输入中添加生成提示，该提示指向 <|im_start|>assistant\n 。尤其需要注意的是，我们 遵循先前实践，对 chat 模型应用 ChatML 模板。而 max_new_tokens 参数则用于设置响应的最大长度。此 外，通过 tokenizer.batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认 现在，你可以选择流式模式或非流式模式与 Qwen1.5 进行对话。继续阅读文档，并尝试探索模型推理的更多 高级用法！” 1.4 llama.cpp llama.cpp 是一个 C++ 库，用于简化 LLM 推理的设置。它使得在本地机器上运行 Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 为了让您能够快速开始微调，我们直接提供了一个 shell 脚本，您可以无需关注具体细节即可运行。针对不同 类型的训练（例如单 GPU 训练、多 GPU 训练、全参数微调、LoRA 或 Q-LoRA），您可能需要不同的超参数 设置。 cd examples/sft bash finetune.sh -m -d --deepspeed [--use_lora␣

sudo apt-get update sudo apt-get install python3.6 3. 删除默认 python 版本设置 zhigang@ubuntu:/usr/bin$ sudo rm python 4. 把安装好的 3.6 设置为默认版本 zhigang@ubuntu:/usr/bin$ sudo ln -s python3.6 /usr/bin/ python 6 点击【New Project】，输入项目名称，显示如下： 图 1-6（创建新项目） 点击【Create】按钮完成项目创建，选择文件 (File)-> 设置 (Setting) 选项： 图 1-7（设置选项） 图 1-8（设置系统 Python 解释器） 完成之后，在项目中创建一个空的 python 文件命名为 main. py，然后直接输入下面两行测试代码： import torch

的线性组合，其系数为 ： 在第二个等式中，我们使用矩阵和向量相乘的方法。 实际上，这种 是唯一存在的: 换句话说，向量 可以作为向量 的另一种表示，与 定义的基有关。 “对角化”矩阵向量乘法。 通过上面的设置，我们将看到左乘矩阵 可以被视为左乘以对角矩阵关于特征 向量的基。 假设 是一个向量， 表示 的基。设 为矩阵向量积。现在让我们计算关于 的基 ： 然后，再利用 和方程 ，我们得到： 我们可以看到，原始空间中的左乘矩阵 角化技术来证明这一点：注意，通过公式 推出 ，并利用公式： ，我们可以将上面那个优化问题改写为： 然后，我们得到目标的上界为 ： 此外，设置 可让上述等式成立，这与设置 相对应。 4.矩阵微积分 虽然前面章节中的主题通常包含在线性代数的标准课程中，但似乎很少涉及（我们将广泛使用）的一个 主题是微积分扩展到向量设置展。尽管我们使用的所有实际微积分都是相对微不足道的，但是符号通常 会使事情看起来比实际困难得多。 在本节 。在这种情况下，我们将无法找到向量 ， 由于 ，因此我们想要找到一个向量 ，使得 尽可能接近 ，用欧几里德范数的平方 来衡量。 使用公式 ，我们可以得到： 根据 的梯度，并利用上一节中推导的性质： 将最后一个表达式设置为零，然后解出 ，得到了正规方程： 这和我们在课堂上得到的相同。 4.5 行列式的梯度 现在让我们考虑一种情况，我们找到一个函数相对于矩阵的梯度，也就是说，对于 ，我们要 找到 。回想一下我们对行列式的讨论：

Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标：� TensorFlow #作业优先级� --board-enable true \ #是否开启Tensorboard服务� --conf tf.file.download.thread.nums=10 #其他参数设置� 提交脚本示例（分布式版本）：� TensorFlow on Yarn设计 Yarn首页作业信息：� 作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow

linear -> relu -> linear -> MSELoss -> loss 所以，当我们调用 loss.backward() 时,整张计算图都会 根据 loss 进行微分，而且图中所有设置为 requires_grad=True 的张量 将会拥有一个随着梯度累积的 .grad 张量。 为了说明，让我们向后退几步: print(loss.grad_fn) # MSELoss print(loss target) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 注意 观察如何使用 optimizer.zero_grad() 手动将梯度缓冲区设置为零。 原文链接：pytorch 入门笔记 -03- 神经网络 这是因为梯度是按 Backprop 部分中的说明累积的。 原文链接：pytorch 入门笔记 -03- 神经网络

stratify=y, test_size=0.3) 将完整数据集的70%作为训练集，30%作为测试集，并使得测试集和训练集 中各类别数据的比例与原始数据集比例一致（stratify分层策略），另外 可通过设置 shuffle=True 提前打乱数据 数据划分 训练集 测试集 数据集 11 2.Scikit-learn主要用法 使⽤Scikit-learn进⾏数据标准化 from sklearn Scikit-learn主要用法 无监督学习算法-降维 sklearn.decomposition 模块包含了一系列无监督降维算法 from sklearn.decomposition import PCA 导入PCA库，设置主成分数量为3，n_components代表主成分数量 pca = PCA(n_components=3) 训练模型 pca.fit(X) 投影后各个特征维度的方差比例(这里是三个主成分)

type()。但是更加推荐采用x.type()（这种方式能看到 更具体信息） 5 、 tensor 含 义 device （ 是 否 使 用 GPU ） , requires_grad(是否需要求导)等设置参数。 1.Tensors张量的概念 9  Tensor与NumPy的函数对比 . 操作类别 Numpy PyTorch 数据类型 np.ndarray torch.Tensor np 加载训练集和测试集 定义一个卷积神经网络 定义损失函数 在训练集上训练网络 在测试集上测试网络 36 4. 训练一个分类器 torch.nn.Linear PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接 层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要 求输入输出是四维张量。 in_features指的是输入的