尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 13节 中，我们展 示了深度学习在计算机视觉中的主要应用。在 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为

AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006 年~2019 年之间重大的时间

实战的资料已经很多了，但是这些资料也各有优点和缺点，有 时候也很难让新手有比较好的选择。 当我们明白何为“神经网络”，何为“反向传播”时，我们就已经具备了开始搭建和训练网络 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 这也是我要开始写这么一本小书的初衷，我会把本小书控制在 3 小时的学习时间之内。也就 是说，只知道一丁点 的，什么是非必要的。这构成了我写这本书的初衷——从基础到模型结构的步步递进。我们不会 一次性给出一大堆可选择的内容导致学习变得复杂化，而是用到什么就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision import datasets from torchvision . transforms import ToTensor , Lambda

化问题： min ? 1 ? ෍ ?=1 ? L ??, ? ?? 机器学习的概念-损失函数 24 当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最 小化能确保有好的学习性能。然而，当样本数量不足时，单单利用经验风险最小化可能会导致 “过拟合”的问题。 为此，我们再原有基础上加上用于控制模型复杂度的正则项(Regularizer)，得到结构最小化准 其中，?(?)代表对模型复杂度的惩罚。模型越复杂，?(?)越大，模型越简单，?(?)就越小。?是 一个正的常数，也叫正则化系数，用于平衡经验风险和模型复杂度。 一般来说，结构风险小的模型需要经验风险和模型复杂度同时小，因此对训练数据和测试数据 都能有较好的拟合。 机器学习的概念-损失函数 min ? 1 ? ෍ ?=1 ? ? ??, ? ?? 25 机器学习的概念-优化算法 ⚫SciPy ⚫Matplotlib ⚫Scikit-learn Python模块 59 Python模块-NumPy ⚫NumPy NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy

LSTM) • 利用用户反馈数据来补充训练样本 正在进行的探索 17 聊天机器人(chatbot) • 聊天机器人是一种聊天代理，它通过电脑程序设计与人类通过音频或文本进行 智力对话。 --维基百科 • 未来，聊天应用将被看作是新的浏览器，而机器人程序将成为新的网站。这就 是互联网的新开始。--Ted Livingston, CEO of KiK • 聊天机器人将从根本上变革每个用户对人机交互的体验。 稍 等] q : [m 的 小 吧]; a : [嗯 嗯] q : [我 急 着 用 哎 我的 unk 已经 在 现场 等 着 了 空调 没 装 好 他 不能 unk]; a : [这个 是 需要 您 自 己 承担 的] q : [谢谢 啦]; a : [不 客气 的] q : [你 哪 里 查 不到 吗]; a : [稍 等] q : [冰箱 内 的 冷藏 的 unk 小 铲子 都是 自带 的 对

max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外，我们还可以使用 TextIteratorStreamer ，它将可打印的文本存储在一 个队列中，以便下游应用程序作为迭代器来使用： # Repeat the code above before model.generate() # Starting here, we add streamer for text AutoGPTQ，这意味着您能够直接在 Transformers 中使用量化后的模型。以下 是一个非常简单的代码片段示例，展示如何运行 Qwen1.5-7B-Chat-GPTQ-Int8 （请注意，对于每种大 小的 Qwen1.5 模型，我们都提供了 Int4 和 Int8 两种量化版本）： from transformers import AutoModelForCausalLM, AutoTokenizer ZeRO3 的两种配置文件，您可以根据需求选择其中 之一。在大多数情况下，我们建议在多 GPU 训练中使用 ZeRO3，但针对 Q-LoRA，我们推荐使用 ZeRO2。 有一系列需要调节的超参数。您可以向程序传递 --bf16 或 --fp16 参数来指定混合精度训练所采用的精 度级别。此外，还有其他一些重要的超参数如下： • --output_dir: the path of your output

的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 当前最新稳定版本是 Pytorch 1.9.0、长期支持版本是 Pytorch 1.8.2（LTS），此外Python语言支持版本3.6表示支持3.6.x版本， 其中 x 表示 3.6 版本下的各个小版本，依此类推 3.7、3.8 同样 如此。本书代码演示以 Python3.6.5 版本作为 Python 支持语 言包。它在 Windows 系统下的安装过程非常简单，只需如下 几步： 1. Python 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' 不是内部 或外部命令，也不是可运行的程序”则说明第二步中没有勾选 上“add Python3.6 to PATH”，此时请手动把 python.exe 所 在路径添加到 Windows 系统的环境变量中去之后再次执行 即可。 4.

01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 特征工程重要性： 特征越好，灵活性越强； 特征越好，模型越简单；特征越好 ，性能越出色；好特征即使使用一般的模型，也能得到很好的 效果！ 3.特征工程 21 特征选择 主要方法 去除变化小的特征 去除共线特征 去除重复特征 主成分分析（PCA） …… 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更 强，减少过拟合 2.增强对特征和特征值之间的理解 3

使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算； • C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中 选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得 无法在内存容纳时，程序无法运行。 27 4.CART算法 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 28 4.CART算法 CART ⚫ Classification 青绿 乌黑 浅白 ① ⑥ ⑤ ④ ③ ② 37 决策树差异总结 • 划分标准的差异：ID3 使用信息增益偏向特征值多的特征，C4.5 使用信息增益 率克服信息增益的缺点，偏向于特征值小的特征，CART 使用基尼指数克服 C4.5 需要求 log 的巨大计算量，偏向于特征值较多的特征。 • 使用场景的差异：ID3 和 C4.5 都只能用于分类问题，CART 可以用于分类和回 归问题；ID3