定义为向量( ?? ?? , ?? ??)。这里通过一个具体的函数?(?, ?) = −(cos2 ? + cos2 ?)2来观察梯度的性质，如图 2.6 所示，图中??平面的红色箭头的长度表 示梯度向量∇?的模，箭头的方向表示梯度向量∇?的方向。可以看到，箭头的方向总是指向 当前位置函数值增速最大的方向，函数曲面越陡峭，箭头的长度也就越长，梯度的模也越 预览版202112 2.2 优化方法 6 章详细介绍交叉熵损失函数，这里 仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要 迷信某种做法，理解了算法思想即可随意变通)。对于?个样本的均方误差损失函数可以表 达为： ℒ( ,?) = 1 ? ∑ ∑ (?? (?) − ?? (?)) 2 10 ?=1 ? ?=1 只需要采用梯度下降算法来优化损失函数得到?和?的最优解，然后再利用求得的模型去 循环迭代多次后，就可以利用学好的模型??去预测未知的图片的类别概率分布。模型的测 试部分暂不讨论。 手写数字图片 MNIST 数据集的训练误差曲线如图 3.11 所示，由于 3 层的神经网络表 达能力较强，手写数字图片识别任务相对简单，误差值可以较快速、稳定地下降，其中， 把对数据集的所有样本迭代一遍叫作一个 Epoch，通常在间隔数个 Epoch 后测试模型的准 确率等指标，方便监控模型的训练效果。

用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 述的业务逻辑出发，编写出符合业务逻辑的应用程序，并不断测试直到满足用户的需求。根据业务逻辑设计 搜索为例，目标不是简单的“查询（query）‐网页（page）”分类，而是在海量搜索结果中找到用户最需要的 那部分。搜索结果的排序也十分重要，学习算法需要输出有序的元素子集。换句话说，如果要求我们输出字 母表中的前5个字母，返回“A、B、C、D、E”和“C、A、B、E、D”是不同的。即使结果集是相同的，集内 的顺序有时却很重要。 该问题的一种可能的解决方案：首先为集合中的每个元素分配相应的相关性分数，然后检索评级最高的元素。 规模算力唾手可得。 这一点在 表1.5.1 中得到了说明。 20 https://en.wikipedia.org/wiki/Claude_Shannon 21 https://en.wikipedia.org/wiki/Alan_Turing 22 https://en.wikipedia.org/wiki/Donald_O._Hebb 1.5. 深度学习的发展 33 表1.5.1: 数据集vs计算机内存和计算能力

。 模型结构如下图所示： 让我们用函数式 API 来实现它。 主要输入接收新闻标题本身，即一个整数序列（每个整数编码一个词）。这些整数在 1 到 10,000 之间（10,000 个词的词汇表），且序列长度为 100 个词。 from keras.layers import Input, Embedding, LSTM, Dense from keras.models import Model digit_b], out) 3.2.7.4 视觉问答模型 当被问及关于图片的自然语言问题时，该模型可以选择正确的单词作答。 它通过将问题和图像编码成向量，然后连接两者，在上面训练一个逻辑回归，来从词汇表 中挑选一个可能的单词作答。 from keras.layers import Conv2D, MaxPooling2D, Flatten from keras.layers import Input 数组。如果从本地框架张量馈送（例如 TensorFlow 数据张量）数据，x 可 以是 None（默认）。 • y: 目标（标签）数据的 Numpy 数组（如果模型只有一个输出），或者是 Numpy 数组的列 表（如果模型有多个输出）。如果模型中的输出层被命名，你也可以传递一个字典，将输 出层名称映射到 Numpy 数组。如果从本地框架张量馈送（例如 TensorFlow 数据张量）数 据，y 可以是 None（默认）。

sentence的缩写形式 输出词汇 我们模型的输出词表在我们训练之前的预处理流程中就被设定好。 42 3.Transformer的训练 一旦我们定义了我们的输出词 表，我们可以使用一个相同宽 度的向量来表示我们词汇表中 的每一个单词。这也被认为是 一个one-hot 编码。所以，我们 可以用下面这个向量来表示单 词“am”： 43 3.Transformer的训练 损失函数 比如说我们正在训练模型， 44 3.Transformer的训练 集束搜索(Bean Search) 贪婪算法只会挑出最可能的那一个单 词，然后继续。而集束搜索则会考虑 多个选择，集束搜索算法会有一个参 数B，叫做集束宽（beam width）。在 这个例子中B=3，这样就意味着集束 搜索不会只考虑一个可能结果，而是 一次会考虑3个，比如对第一个单词有 不同选择的可能性，最后找到in、jane 、september，是英语输出的第一个单

来确定新 pod 是否准备就绪。 要使用 pod 横向自动扩展，您的集群管理员必须已经正确配置了集群指标。 2.4.1.1. 支持的指 支持的指标 标 pod 横向自动扩展支持以下指标： 表 表 2.1. 指 指标 标 指 指标 标 描述 描述 API 版本 版本 CPU 使用率 已用的 CPU 内核数。可以用来计算 pod 的已请求 CPU 百分比。 autoscaling/v1、autoscaling/v2be secret 数据可以在命名空间内共享。 YAML Secret 对 对象定 象定义 义 指示 secret 的键和值的结构。 data 字段中允许的键格式必须符合 Kubernetes 标识符术语表中 DNS_SUBDOMAIN 值的规范。 与 data 映射中键关联的值必须采用 base64 编码。 stringData 映射中的条目将转换为 base64，然后该条目将自动移动到 data 放置到该节点上，除非 pod 可以容限该污点。 节 节点 点规 规格中的 格中的污 污点示例 点示例 Pod 规 规格中的容限示例 格中的容限示例 污点与容限由 key、value 和 effect 组成。 表 表 3.1. 污 污点和容限 点和容限组 组件 件 参数 参数 描述 描述 key key 是任意字符串，最多 253 个字符。key 必须以字母或数字开头，可以包含字 母、数字、连字符、句点和下划线。

13 切换桌面 14 断开桌面或从桌面注销 14 从主屏幕移除 View 服务器的快捷方式 15 回滚桌面 15 在 Mac 上使用 Microsoft Windows 桌面 16 功能支持表 16 国际化 16 复制和粘贴文本和图像 16 PCoIP 客户端映像缓存 17 排除 View Client 故障 17 重置桌面 17 卸载 View Client 18 索引 19 Client 支持的查询。如果您要为多种类型的客户端（例如，桌面客户端和移动客户 端）创建 URI，请参阅针对每种客户端系统类型的《使用 VMware View Client》指南。 action 表 1-1 可与 action 查询一起使用的值 值 描述 browse 显示指定服务器上托管的可用桌面的列表。使用此项操作时无需指定 桌面。 如果使用 browse 操作并指定一个桌面，则该桌面会在可用桌面列表 查询设置为 start-session，或者不使用 action 查询。 表 1-2 desktopLayout 查询的有效值 值 描述 fullscreen 在一个显示器中全屏显示。这是默认值。 windowLarge 大窗口。 windowSmall 小窗口。 WxH 自定义分辨率，您可以像素为单位指定宽乘高。举例说明该 语法：desktopLayout=1280x800。 desktopProtocol

来确定新 pod 是否准备就绪。 要使用 pod 横向自动扩展，您的集群管理员必须已经正确配置了集群指标。 2.4.1.1. 支持的指 支持的指标 标 pod 横向自动扩展支持以下指标： 表 表 2.1. 指 指标 标 指 指标 标 描述 描述 API 版本 版本 CPU 使用率 已用的 CPU 内核数。可以用来计算 pod 的已请求 CPU 百分比。 autoscaling/v1、autoscaling/v2be 从文件中导 导入的内容在配置映射中指定要 入的内容在配置映射中指定要设 设置的密 置的密钥 钥。 。这 这可以通 可以通过 过向 向 --from-file 选项传递 选项传递 key=value 表 表达 达式来 式来设 设置。例如： 置。例如： 1. 通 通过 过指定 指定键值对 键值对来 来创 创建配置映射： 建配置映射： 2. 节点上的 点上的 POD 放置（ 放置（调 调度） 度） 151 污 污点与容限由 点与容限由 key、 、value 和 和 effect 组 组成。 成。 表 表 3.1. 污 污点和容限 点和容限组 组件 件 参数 参数 描述 描述 key key 是任意字符串，最多 253 个字符。key 必须以字母或数字开头，可以包含字 母、数字、连字符、句点和下划线。

包都只支持小批量样本，而不支持单个样本。 例如，nn.Conv2d 接受一个4维的张量，每一维分别是 sSamples * nChannels * Height * Width（ 本数 * 通道数 * 高 * 宽）。如果你有单个样本，只需使用 input.unsqueeze(0) 来添加其它的维数 在继续之前，我们回顾一下到目前为止用到的类。 回顾: ● torch.Tensor：一个用过自动调用backward()

打平的具体做法 标准Transformer的输入是1D序列，对于图像? ∈ ??∗?∗?， 将其reshape 成 ?? ∈ ??∗ ?2⋅? 的序列。 P是patch的大小； (H,W)是图像的高和宽；C是图像通道数；? = ??/?2， 即patch的个数。 2.模型介绍 24 3.模型训练策略 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进

16nm FinFET 12nm FinFET Core Clock(<=) 1621MHz 1531MHz 1450MHz GPU显存 显存类型 GDDR5X GDDR5 HBM2 显存位宽 384-bit 384-bit 4096-bit 显存带宽 480 GB/s 346 GB/s 900GB/s 显存容量 12GB 24GB 16G 性能 FP32 (TFLOPS) 10.6