模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 层)等模型相继被提出，同时输入图 片的大小也从28 × 28逐渐增大，变成224 × 224、416 × 416等，这些变化使得网络的总参 数量可达到千万、上亿级别，如图 1.13 所示。 网络规模的增大，使得神经网络的容量也相应增大，从而能够学习到复杂的数据模 态，模型的性能也会随之提升；另一方面，网络规模的增大，意味着更容易出现过拟合现 象，训练需要的数据集和计算代价也会变大。 4 4 8 8 19 22 （a）表达能力偏弱 （b）表达能力与数据模态匹配 （c）表达能力过强 图 3.8 模型表达能力与数据模态示意图 选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 题。 3.5 非线性模型 既然线性模型不可行，那么可以给线性模型嵌套一个非线性函数，即可将其转换为非 线性

1.基本概念 总体：研究对象的全体，它是一个随机变量，用?表示。 个体：组成总体的每个基本元素。 简单随机样本：来自总体?的?个相互独立且与总体同分布的随机变量?1, ?2 ⋯ , ??，称为容量为? 的简单随机样本，简称样本。 统计量：设?1, ?2 ⋯ , ??,是来自总体?的一个样本，?(?1, ?2 ⋯ , ??)）是样本的连续函数，且?(⬝) 中不含任何未知参数，则称?(?1

rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别

1450MHz GPU显存 显存类型 GDDR5X GDDR5 HBM2 显存位宽 384-bit 384-bit 4096-bit 显存带宽 480 GB/s 346 GB/s 900GB/s 显存容量 12GB 24GB 16G 性能 FP32 (TFLOPS) 10.6 12 14 FP16 (TFLOPS) NA NA 113 Tensor (TFLOPS) NA NA 112 TDP

实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何

纪大爆发——历史上物种飞速进化的时期。事实上， 最先进的技术不仅仅是将可用资源应用于几十年前的算法的结果。下面列举了帮助研究人员在过去十年中取 得巨大进步的想法（虽然只触及了皮毛）。 • 新的容量控制方法，如dropout (Srivastava et al., 2014)，有助于减轻过拟合的危险。这是通过在整个神 经网络中应用噪声注入 (Bishop, 1995) 来实现的，出于训练目的，用随机变量来代替权重。 在本章中，我们将第一次介绍真正的深度网络。最简单的深度网络称为多层感知机。多层感知机由多层神经 元组成，每一层与它的上一层相连，从中接收输入；同时每一层也与它的下一层相连，影响当前层的神经元。 当我们训练容量较大的模型时，我们面临着过拟合的风险。因此，本章将从基本的概念介绍开始讲起，包括 过拟合、欠拟合和模型选择。为了解决这些问题，本章将介绍权重衰减和暂退法等正则化技术。我们还将讨 论数值稳定性和参 控制，因而在短期内不可能做 到。假设我们已经拥有尽可能多的高质量数据，我们便可以将重点放在正则化技术上。 回想一下，在多项式回归的例子（4.4节）中，我们可以通过调整拟合多项式的阶数来限制模型的容量。实际 上，限制特征的数量是缓解过拟合的一种常用技术。然而，简单地丢弃特征对这项工作来说可能过于生硬。 我们继续思考多项式回归的例子，考虑高维输入可能发生的情况。多项式对多变量数据的自然扩展称为单项