有些人担心人工智能会让人类觉得自卑，但是实 际上，即使是看到一朵花，我们也应该或多或少 感到一些自愧不如。−艾伦·凯 前面已经介绍了用于连续值预测的线性回归模型，本章继续来挑战分类问题。分类问 题的一个典型应用就是教会机器如何智能识别图片中物体的类别。考虑图片分类中最简单 的任务之一：0~9 数字图片识别，它相对简单，而且也具有非常广泛的应用价值，比如邮 政编码、快递单号、手机号码等都属于数字 模型表达能力与数据模态示意图 选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 题。 3.5 非线性模型 既然线性模型不可行，那么可以给线性模型嵌套一个非线性函数，即可将其转换为非 线性模型。通常把这个非线性函数称为激活函数(Activation Function)，用?表示： 1000, 0.0000, 3.3000, 4.4000, 0.0000, 0.0000, 7.7000]) 可以看到，在长度为 8 的目标向量 x 上，写入了对应位置的数据，4 个位置的数据被刷 新。Scatter 的索引方式可以视为 Gather 的逆过程。 考虑 3 维张量的刷新例子，如下图 5.4 所示，目标张量 x 的 shape 为[4,4,4]，同理数据 设置为全 0，共有

增量模型，GB级，20分钟（Cos存储） 实时模型，KB级，秒（Kafka） 分布式 Serving集群 推理节点 分布式 Serving集群 推理节点 召回索引服务 业务服务 1. 获取⽤户向量 2. 向量召回 异步 刷库 训练端⽣成⾼频参数集 独⽴通道上线 降低请求⽑刺 Feature 2.1: 短时间内只 有部分参数被⽤到 Feature 2.2 Hotkey变化慢 ⼤规模推荐模型深度学习系统基本解决维度

条件，对候选集的内容进行整理形成最终摘要， 完成内容组织。其细分路径又包含生成式文本 摘 要(AATS)，即形成抽象认知并创造新词灵活 概括 ，和抽取式文本摘要(EATS)，即直接抽取 原始素材并拼接成简单概要 摘要/标 题生成 内容续写 （例如文 章续写） 整段文本 生成 产品 特色 通过随机Mask(即遮挡)数据库文本中的 词语或语段，让神经网络自主学习复原被 遮挡部分，从而拥有“猜测”缺失内容的 GPT的发展 36 GPT-2的核心抓 手—采用多任务 模型（Multi- task） GPT-2要 实现的目 标 • GPT-2 调整优化的目的是为了解决零 次 学 习 问 题 （ zero-shot ） （ 注 ： zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 须重复该过程时。 问题 02 问题01 问题03 GPT-2阶段 存在的问题 点 ◼ GPT-2聚焦在无监督、zero-shot（零次学习）上，然而GPT-2训练结果也有不达预期之处，所存在的问 题也亟待优化 ✓ 在GPT-2阶段，尽管体系结构是任务无关的，但仍然需要任务特定的数据集和任务特定的微调：要在所需任务上实现强大的性能，通 常需要对特定于该任务的数千到数十万个示例的数据集进行微调。

识别文本是否是广 告。如“去屑洗发 水，全国包邮”。 准确率：92% 案件描述 分类 对案件描述进行分类， 并进行可视化展示。 准确率：93% 政务问题 分类 识别用户所问问题 类型并进行热点问 题分析。 准确率：98% 21 EI体验空间 22 Copyright©2018 Huawei Technologies Co., Ltd. All Rights Reserved. The information

Adaboost和GBDT算法 03 XGBoost 04 LightGBM 36 4.LightGBM LightGBM 由微软提出，主要用于解决 GDBT 在海量数据中遇到的问 题，以便其可以更好更快地用于工业实践中，其相对 XGBoost 具有训 练速度快、内存占用低的特点。 LightGBM与XGBoost相比，主要有以下几个优势： 1）更快的训练速度 2）更低的内存消耗

诉我们如何调整代码以达到期望的结果。不幸的是，这种优雅的理论目前还没有出现。尽管我们尽了最大努 力，但仍然缺乏对各种技术的正式解释，这既是因为描述这些模型的数学可能非常困难，也是因为对这些主 题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 在本书discuss.d2l.ai6的论坛上注册帐户。 2. 在计算机上安装Python。 3. 沿着本节底部的链接进入论坛，在那里可以寻求帮助、讨论这本书，并通过与作者和社区接触来找到问 题的答案。 Discussions7 6 https://discuss.d2l.ai/ 7 https://discuss.d2l.ai/t/2086 8 目录 安装 我们需要配置一个环境来运行 文本记录。它的挑战在于，与文本相比，音频帧多得多（声音通常以8kHz或16kHz采样）。也就是说，音频和 文本之间没有1:1的对应关系，因为数千个样本可能对应于一个单独的单词。这也是“序列到序列”的学习问 题，其中输出比输入短得多。 图1.3.5: -D-e-e-p- L-ea-r-ni-ng- 在录音中。 文本到语音。这与自动语音识别相反。换句话说，输入是文本，输出是音频文件。在这种情况下，输出比输