representation）。 对于GloVe算法，我们可以定义上下文和目标词为任意两个位置相近的单词，假 设是左右各10词的距离，那么???就是一个能够获取单词?和单词?出现位置相近时 或是彼此接近的频率的计数器。 GloVe模型做的就是进行优化，我们将他们之间的差距进行最小化处理： minimize ෍ ?=1 10,000 ෍ ?=1 10,000 ? ??? ?? ??? + ?? +

尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 13节 中，我们展 示了深度学习在计算机视觉中的主要应用。在 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为

实战的资料已经很多了，但是这些资料也各有优点和缺点，有 时候也很难让新手有比较好的选择。 当我们明白何为“神经网络”，何为“反向传播”时，我们就已经具备了开始搭建和训练网络 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 这也是我要开始写这么一本小书的初衷，我会把本小书控制在 3 小时的学习时间之内。也就 是说，只知道一丁点 的，什么是非必要的。这构成了我写这本书的初衷——从基础到模型结构的步步递进。我们不会 一次性给出一大堆可选择的内容导致学习变得复杂化，而是用到什么就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision import datasets from torchvision . transforms import ToTensor , Lambda

AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006 年~2019 年之间重大的时间

max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外，我们还可以使用 TextIteratorStreamer ，它将可打印的文本存储在一 个队列中，以便下游应用程序作为迭代器来使用： # Repeat the code above before model.generate() # Starting here, we add streamer for text ZeRO3 的两种配置文件，您可以根据需求选择其中 之一。在大多数情况下，我们建议在多 GPU 训练中使用 ZeRO3，但针对 Q-LoRA，我们推荐使用 ZeRO2。 有一系列需要调节的超参数。您可以向程序传递 --bf16 或 --fp16 参数来指定混合精度训练所采用的精 度级别。此外，还有其他一些重要的超参数如下： • --output_dir: the path of your output == '__main__': test() 1.14 Qwen-Agent Qwen-Agent 是一个基于 Qwen 的指令跟随、工具使用、计划和记忆能力来开发 LLM 应用程序的框架。它还 附带了一些示例应用程序，例如浏览器助手、代码解释器和自定义助手。 1.14.1 安装 git clone https://github.com/QwenLM/Qwen-Agent.git cd Qwen-Agent

，需独立安装。 https://github.com/lepture/captcha flask flask 是一个基于 Werkzeug 和 jinja2 开发的 Python Web 应用程序框架，遵从 BSD 开源协 议。它以一种简约的方式实现了框架核心，又保留了扩展性。 https://github.com/pallets/flask 生成验证码数据集 验证码（CAPTCHA）简介 Automated Public Turing test to tell Computers and Humans Apart，简称CAPTCHA），俗称验证码，是一种区分用户是 计算机或人的公共全自动程序。在CAPTCHA测试中，作为服务器的计算机会自动生成一 个问题由用户来解答。这个问题可以由计算机生成并评判，但是必须只有人类才能解答。 由于计算机无法解答CAPTCHA的问题，所以回答出问题的用户就可以被认为是人类。 org/wiki/captcha 验证码（CAPTCHA）演进 https://zh.wikipedia.org/wiki/captcha 早期的Captcha验证码 "smwm" ，由EZ-Gimpy 程序产生，使用扭曲的字母和背景颜色梯度 一种更现代的CAPTCHA，其不使用扭曲的背景及 字母，而是增加一条曲线来使得图像分割 （segmentation）更困难。 另一种增加图像分割难度的方法为将符号彼此拥挤

内存数据库 数据检索 点击流 用户活动 内容生成 购买 点击 喜好 传感器数据 机器学习& 人工智能 大数据 更多的用户 更好的产品 更多的数据 更好的分析 围绕数据的“飞轮” 算法 数据 程序模型 GPUs & 计算加速 深度学习的爆发 图像理解 自然语言处理 语音识别 机器自主 AWS 之上的人工智能应用 Zillow • Zestimate (using Apache &物流 现有产品的增强 定义新的产品分类 将机器学习拓 展更广领域 Amazon 的人工智能应用 在Amazon 最初的人 工智能应用 (1995) AWS 可以帮助客户把人工智能应用于每个应 用程序的核心&业务之中吗? Amazon AI 构建于深度学习之上的智能服务 Amazon AI: 新的深度学习服务 生活化的语音服务 Polly Lex 对话引擎 Rekognition 图像分析 • 充分利用了 Amazon 内部在 AI / Ml领域的经验 • 全托管的API 服务，嵌入的AI服务提供了最大的 可访问性和简单性 • 完整的深度学习堆栈，包含了专业的平台、引擎 应用程序 Thank you! lianghong@amazon.com

的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， Python 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' 不是内部 或外部命令，也不是可运行的程序”则说明第二步中没有勾选 上“add Python3.6 to PATH”，此时请手动把 python.exe 所 在路径添加到 Windows 系统的环境变量中去之后再次执行 即可。 4. 基础操作的函数知识与参数说明，读者可以直接 参见官方的开发文档。 1.5 线性回归预测 上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习 Pytorch 框架编 程的愉快旅程。 1.5.1 线性回归过程 很坦诚的说，有很多资料把线性回归表述的很复杂、一堆公式 推导让

在模型测试过程中，用户也往往需要查看准确率和召回率等评估指标。 因此，TensorFlow 项目组开发了机器学习可视化工具 TensorBoard ， 它通过展示直观的图形，能够有效地辅助机器学习程序的开发者和使 用者理解算法模型及其工作流程，提升模型开发工作效率。 TensorBoard 可视化训练 TensorBoard 可视化统计数据 TensorBoard 可视化数据分布 TensorBoard TensorBoard 使用流程 可视化的数据是数据流图和张量，它们需要在会话中加载或执行操作后才能获取。然后， 用户需要使用 FileWriter 实例将这些数据写入事件文件。最后，启动 TensorBoard 程序， 加载事件文件中的序列化数据，从而可以在各个面板中展示对应的可视化对象。 tf.summary 模块介绍 前述流程中使用的 FileWriter 实例和汇总操作（Summary Ops） 均属于

• 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收 训练数据的划分：� TensorFlow on Yarn技术细节揭秘 启动Tensorboard服务：� TensorFlow on Yarn技术细节揭秘 降低已有tensorflow程序迁移成本：� （1）单机模式 不需要修改代码 （2）分布式模式（最多修改三行代码） cluster = !.train.ClusterSpec(json.loads(os