37 添加高斯噪声 图 9.38 变换视角 图 9.39 随机擦除 9.8 过拟合问题实战 前面我们大量使用了月牙形状的 2 分类数据集来演示网络模型在各种防止过拟合措施 下的性能表现。本节实战我们将基于月牙形状的 2 分类数据集的过拟合与欠拟合模型，进 行完整的实战。 9.8.1 构建数据集 我们使用的数据集样本特性向量长度为 2，标签为 0 或 1，分别代表了两种类别。借助 15) optimizer.step() 11.6.2 梯度弥散 对于梯度弥散现象，可以通过增大学习率、减少网络深度、添加 Skip Connection 等一 系列的措施抑制。 增大学习率?可以在一定程度防止梯度弥散现象，当出现梯度弥散时，网络的梯度∇?ℒ 接近于 0，此时若学习率?也较小，如η = 1e − 5，则梯度更新步长更加微小。通过增大学 习率，如令 ??(??, ??)) 2 由于训练目标值?? + ? max ? ??(??+1, ?)和预测值??(??, ??)都来自同一网络，同时训练数据存 在强烈相关性， [1]提出了 2 项措施来解决：通过添加经验回放池(Experience Relay Buffer) 来减轻数据之前的强相关性；通过冻结目标网络(Freezing Target Network)技术来固定目标 估值网络，稳定训练过程。

0321]]), tensor([1.0000, 1.0000])) 注意，虽然这在数学上看起来是正确的，但我们在代码实现中有点草率。矩阵中的非常大或非常小的元素可 能造成数值上溢或下溢，但我们没有采取措施来防止这点。 3.6.3 定义模型 定义softmax操作后，我们可以实现softmax回归模型。下面的代码定义了输入如何通过网络映射到输出。注 意，将数据传递到模型之前，我们使用reshape函数将每张原始图像展平为向量。 • 使用深度学习框架的高级API，我们可以更简洁地实现softmax回归。 • 从计算的角度来看，实现softmax回归比较复杂。在许多情况下，深度学习框架在这些著名的技巧之外 采取了额外的预防措施，来确保数值的稳定性。这使我们避免了在实践中从零开始编写模型时可能遇 到的陷阱。 练习 1. 尝试调整超参数，例如批量大小、迭代周期数和学习率，并查看结果。 2. 增加迭代周期的数量。为什么 施强化学习系统），还有一些解决方案要求我们完全跳出统计预测，解决一些棘手的、与算法伦理应用有关的 哲学问题。 4.9.1 分布偏移的类型 首先，我们考虑数据分布可能发生变化的各种方式，以及为挽救模型性能可能采取的措施。在一个经典的情 景中，假设训练数据是从某个分布pS(x, y)中采样的，但是测试数据将包含从不同分布pT (x, y)中抽取的未标 记样本。一个清醒的现实是：如果没有任何关于pS和pT 之间相