深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 FM：大规模稀疏数据下的特征组合问题 • DeepFM • 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 serving serving server server 在线机器学习-参数服务器 • 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储

pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 是深度学习框架的后起之秀，它参考了市场上早期框 架包括 torch、caffe、tensorflow 的经验教训，从一开始设 PyTorch + OpenVINO 开发实战系列教程 第一篇 3 计就特别注重开发者体验与生产效率提升，一经发布就引发追 捧热潮，可以说“出道即巅峰”。Pytorch 虽然来自脸书实验室， 但是它也吸引外部公司包括特斯拉、优步、亚马逊、微软、阿 里等积极支持，其平缓的学习曲线，简洁方便的函数与模型构

194 iv 5.1.3 在前向传播函数中执行代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 5.1.4 效率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 5.2 参数管理 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 13节 中，我们展 示了深度学习在计算机视觉中的主要应用。在 （社交网络） 100 GB 1 PF (Nvidia DGX‐2) 很明显，随机存取存储器没有跟上数据增长的步伐。与此同时，算力的增长速度已经超过了现有数据的增长 速度。这意味着统计模型需要提高内存效率（这通常是通过添加非线性来实现的），同时由于计算预算的增 加，能够花费更多时间来优化这些参数。因此，机器学习和统计的关注点从（广义的）线性模型和核方法转 移到了深度神经网络。这也造就了许多深度学习的中流砥柱，如多层感知机

中进行过描述。 18 3.Word2Vec 负采样 计算的角度来看，SkipGram非常消耗资源：尤其是我们将在 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 2.使用这些高质量的嵌入来训练语言模型（进行下一个单词 预测）。 19 3.Word2Vec 负采样 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 结构性的文本生成，首先通过注意力机制、多层感知器等系 统进行语句内容预选，对数值、时间等类型数据进行推理。 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Tra 实现的目 标 • GPT-2 调整优化的目的是为了解决零 次 学 习 问 题 （ zero-shot ） （ 注 ： zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 业AI），多任务模型不采用专门AI手 段，而是在海量数据喂养训练的基础 上，适配任何任务形式。 ✓ 转向更通用的系统，使其可以执行许

度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 亿个，甚至发布之初一度以技术安全考 虑为由拒绝开源 GPT-2 模型。 聊天机器人(Chatbot) 聊天机器人也是自然语言处理的一项主流任务，机器自动学习与 人类对话，对于人类的简单诉求提供满意的自动回复，提高客户的服务效率和服务质量 等。常应用在咨询系统、娱乐系统、智能家居等中。 预览版202112 第 1 章 人工智能绪论 12 1.4.3 强化学习 虚拟游戏 相对于真实环境，虚拟游

，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1.决策树原理 优点： ⚫ 推理过程容易理解，计算简单，可解释性强。 ⚫ 比较适合处理有缺失属性的样本。 ⚫ 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性， 减少变量的数目提供参考。 缺点： ⚫ 容易造成过拟合，需要采用剪枝操作。 后剪枝决策:剪枝 原分支“纹理”的验证集精度 剪枝前:42.9% 剪枝后:57.1% 后剪枝决策:剪枝 26 C4.5的缺点 缺点 • 剪枝策略可以再优化； • C4.5 用的是多叉树，用二叉树效率更高； • C4.5 只能用于分类； • C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算； • C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中 选择一

深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 教育 中国 2015年 A轮融资 估值11亿美元 12 字节跳动 跨媒体分析推理技术、深度学习、自 然 语言处理、图像识别 资讯 中国 2012年 Pre-IPO轮融资 估值750亿美元 13 Netflix（网飞） 视频图像优化、剧集封面图片个性 化 、视频个性化推荐 媒体及内容 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级，以及跟踪体育 节目中品牌赞助的可见性。 农业 半自动联合收割机可以利用人工智能

遵循减少认知困难的最佳实践: 它提供一致且 简单的 API，它将常见用例所需的用户操作数量降至最低，并且在用户错误时提供清晰和 可操作的反馈。 • 这使 Keras 易于学习和使用。作为 Keras 用户，你的工作效率更高，能够比竞争对手更快 地尝试更多创意，从而帮助你赢得机器学习竞赛。 • 这种易用性并不以降低灵活性为代价：因为 Keras 与底层深度学习语言（特别是 Ten- sorFlow）集成在一起 的结果只会用来更新一次模型。 - 一个 batch 的样本通常比单个输入更接近于 总体输入数据的分布，batch 越大就越近似。然而，每个 batch 将花费更长的时间来处理， 并且仍然只更新模型一次。在推理（评估/预测）时，建议条件允许的情况下选择一个尽可 能大的 batch，（因为较大的 batch 通常评估/预测的速度会更快）。 • Epoch: 轮次，通常被定义为「在整个数据集上的一轮迭代」，用于训练的不同的阶段，这 use_multiprocessing=False, shuffle=True, initial_epoch=0) 使用 Python 生成器逐批生成的数据，按批次训练模型。 生成器与模型并行运行，以提高效率。例如，这可以让你在 CPU 上对图像进行实时数据增 强，以在 GPU 上训练模型。 参数 • generator: 一个生成器。生成器的输出应该为以下之一： • 一个 (inputs, targets)

部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） (千，千万) ⼩特征 （个） 中型特征 （⼗） � 2.2 hotkey现象，且训练与推理的 hotkey⾼度重合 百万级稠密 交叉参数 千亿级 稀疏输⼊ 层参数 单个样本命 中的key ⽐如：性别，年龄等取值少的特征； 热⻔⽂章的特征，活跃⽤户的特征 推荐系统 模型上线 在线推理 模型训练 ⽂章 新闻 视频 Item User Item特征 ⽤户反馈 Item推荐

在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4. 37.0 版本。以下是一个非常简单的代码片段示例，展示如何运行 Qwen1.5-Chat 模型，其中包含 Qwen1. 5-7B-Chat 的实例： max_new_tokens=512, streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install 进行对话。继续阅读文档，并尝试探索模型推理的更多 高级用法！” 1.4 llama.cpp llama.cpp 是一个 C++ 库，用于简化 LLM 推理的设置。它使得在本地机器上运行 Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总