以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9

策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 12 计算性能 503 12.1 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639 13.13.7 在 Kaggle 上对测试集进行分类并提交结果 . . . . . . . . . . . . . . . . . . . . . . . 640 13.14 实战Kaggle比赛：狗的品种识别（ImageNet Dogs） 14.6 训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646 13.14.7 对测试集分类并在Kaggle提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 14 自然语言处理：预训练 649 14.1 词嵌入（word2vec）

(root node) 叶节点 (leaf node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 熵越大，样 本纯度越低。。 ⚫ ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据 的归纳分类。 ⚫ ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给 定的测试属性。 ID3 算法 10 2.ID3算法 ID3 算法 其大致步骤为： 1. 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当 前决策节点； 凹陷 硬滑 否 训练集 验证集 在已经生成的决策树上进行剪枝，从而 得到简化版的剪枝决策树。 后剪枝决策树通常比预剪枝决策树保留 了更多的分支。一般情况下，后剪枝的 欠拟合风险更小，泛化性能往往优于预 剪枝决策树。 24 C4.5的剪枝 后剪枝 基于表生成未剪枝的决策树 平坦 纹理 色泽 好瓜 坏瓜 根蒂 色泽 脐部 坏瓜 坏瓜 坏瓜 坏瓜 好瓜 好瓜 好瓜

. . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . epochs=5, batch_size=32) 或者，你可以手动地将批次的数据提供给模型： model.train_on_batch(x_batch, y_batch) 只需一行代码就能评估模型性能： loss_and_metrics = model.evaluate(x_test, y_test, batch_size=128) 或者对新的数据生成预测： classes = model Keras? • 如何在多 GPU 上运行 Keras 模型? • “sample”, “batch”, “epoch” 分别是什么？ • 如何保存 Keras 模型？ • 为什么训练误差比测试误差高很多？ • 如何获取中间层的输出？ • 如何用 Keras 处理超过内存的数据集？ • 在验证集的误差不再下降时，如何中断训练？ • 验证集划分是如何计算的？ • 在训练过程中数据是否会混洗？

2017年，在Ashish Vaswani et.al 的论文《Attention Is All You Need》 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Tra ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。 ✓ 大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。 模型中，Transfomer堆叠至48层。GPT-2的数据集增加到8 million的网页、大小40GB的文本。 图：GPT-2通过调整 Learners》论文 • 预训练加微调范式中，可能在这种范式下实现的 泛化可能很差，因为该模型过于特定于训练分布， 并且在其之外无法很好地泛化。 • 微调模型在特定基准上的性能，即使名义上是人 类水平，也可能夸大基础任务的实际性能。 存在的问题03： 因为人类学习大多数语言任务不需要 大型受监督的数据集，当前NLP技术 在概念上具有一定的局限性。 存在的问题01： 从实用的角度来看，每一项新任务都需

机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 6 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 • 基于性能指标比较几种机 器学习模型 • 对最佳模型执行超参数调 整 • 在测试集上评估最佳模型 • 解释模型结果 • 得出结论 • 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 特征越好，模型越简单；特征越好 ，性能越出色；好特征即使使用一般的模型，也能得到很好的 效果！ 3.特征工程 21 特征选择 主要方法 去除变化小的特征 去除共线特征 去除重复特征 主成分分析（PCA） …… 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更 强，减少过拟合 2.增强对特征和特征值之间的理解 3.特征工程 22 数据划分 训练集 测试集 数据集 验证集 训练集 测试集 验证集 时间序列 不考虑时间因素，通常打乱数据 3.特征工程 23 4.数据建模 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 24 数据建模 • 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型 • 解释模型结果 • 得出结论 25 参考文献

分为三种不同的版本分别是稳 定版本 (Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 1-1 中的矩形框，必须手动选择上“add Python3.6 to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python 语言包支持以后可以通过命令行来验证测试 安装是否成功，首先通过 cmd 打开 Window 命令行窗口，然 后输入 Python，显示如下： 图 1-2（验证 Python 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功

根据上述损失函数模型，我们可知，损失函数值越小，模型性能越好。给定一个数据集，我们将 训练数据集的平均损失称为经验风险。基于经验风险最小化原则，可构建全局损失函数求解最优 化问题： min ? 1 ? ෍ ?=1 ? L ??, ? ?? 机器学习的概念-损失函数 24 当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最 小化能确保有好的学习性能。然而，当样本数量不足时，单单利用经验风险最小化可能会导致 )代表对模型复杂度的惩罚。模型越复杂，?(?)越大，模型越简单，?(?)就越小。?是 一个正的常数，也叫正则化系数，用于平衡经验风险和模型复杂度。 一般来说，结构风险小的模型需要经验风险和模型复杂度同时小，因此对训练数据和测试数据 都能有较好的拟合。 机器学习的概念-损失函数 min ? 1 ? ෍ ?=1 ? ? ??, ? ?? 25 机器学习的概念-优化算法 算法指的是模型学习中的具体计算方法。一般来说，基于参数模型构建的统计 raining Error)和测试数据的 误差(Testing Error)作为模型评估的标准。 测试误差的具体定义为：????? = 1 ?′ ෍ ?=1 ?′ L ??, መ? ?? 其中，?′为测试数据数量，L(??, መ?(??))是损失函数，??代表真实标签， መ?(??)代表 预测标签。 一般来说，若我们模型学习的效果好，则训练误差和测试误差接近一致。 27 3.

document for more information. 1.4.4 PPL 评测 llama.cpp 为我们提供了评估 GGUF 模型 PPL 性能的方法。为了实现这一点，你需要准备一个数据集，比如 “wiki 测试”。这里我们展示了一个运行测试的例子。 第一步，下载数据集： wget https://s3.amazonaws.com/research.metamind.io/wikite .zip? �→ref=salesforce-research -O wikitext-2-raw-v1.zip unzip wikitext-2-raw-v1.zip 然后你可以用如下命令运行测试： ./perplexity -m models/7B/ggml-model-q4_0.gguf -f wiki.test.raw 输出如下所示 perplexity : calculating 对于 requirements 中的 bitsandbytes 和 llama-cpp-python ，我建议您直接通过 pip 进行安装。但 是，暂时请不要使用 GGUF，因为其与 TGW 配合时的性能表现不佳。在完成所需包的安装之后，您需要 准备模型，将模型文件或目录放在 “./models“文件夹中。例如，您应按照以下方式将 “transformers“模型目录 Qwen1.5-7B-Chat