辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 述的业务逻辑出发，编写出符合业务逻辑的应用程序， 们将尝试学习最小化“预测值和实际标签值的差异”的模型。本书大部分章节将关注平方误差损失函数的最 小化。 分类 虽然回归模型可以很好地解决“有多少”的问题，但是很多问题并非如此。例如，一家银行希望在其移动应 用程序中添加支票扫描功能。具体地说，这款应用程序能够自动理解从图像中看到的文本，并将手写字符映 射到对应的已知字符之上。这种“哪一个”的问题叫做分类（classification）问题。分类问题希望模型能够预 GB 1 PF (Nvidia DGX‐2) 很明显，随机存取存储器没有跟上数据增长的步伐。与此同时，算力的增长速度已经超过了现有数据的增长 速度。这意味着统计模型需要提高内存效率（这通常是通过添加非线性来实现的），同时由于计算预算的增 加，能够花费更多时间来优化这些参数。因此，机器学习和统计的关注点从（广义的）线性模型和核方法转 移到了深度神经网络。这也造就了许多深度学习的中流砥柱，如多层感知机

此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 针对具体的任务设计特征、添加先验假设的做法，已经被深度学习算法彻底抛弃了，目前 在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind Example)，可以直接从指定的? = 1. , ? = . 的真实模型中直接采样： ? = 1. ? + . 1. 采样数据 为了能够很好地模拟真实样本的观测误差，这里给模型添加误差自变量?，它采样自均 值为 0，标准差为 0.01 的高斯分布： ? = 1. ? + . + ?, ? ∼ ?( , . 12) 通过随机采样? = 1 次，可以获得?个样本的训练数据集 w] # 返回最后一次的 w,b 主训练函数实现如下： 预览版202112 2.4 线性回归 9 def main(): # 加载训练集数据，这些数据是通过真实模型添加观测误差采样得到的 lr = 0.01 # 学习率 initial_b = 0 # 初始化 b 为 0 initial_w = 0 # 初始化 w 为 0

5 Pull Requests 合并请求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 21.6 添加新的样例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 KERAS: 基于 PYTHON 列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足 的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。 • 基于 Python 实现。Keras 没有特定格式的单独配置文件。模型定义在 input_shape=(784,)), Activation('relu'), Dense(10), Activation('softmax'), ]) 也可以使用 .add() 方法将各层添加到模型中： model = Sequential() model.add(Dense(32, input_dim=784)) model.add(Activation('relu')) 3.1

数据决定一切 数据大小 准 确 率 10 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数 加载图像数据 img = Image.open('image.jpg').convert('RGB') # 对图像进行数据增强 img_aug = transform(img) # 可以将数据增强的过程添加到数据集的加载器中 dataset = datasets.ImageFolder('data', transform=transform) dataloader = torch.utils.data RandomHorizontalFlip是随机翻转 方法 ColorJitter是随机改变颜色方法 RandomRotation是随机旋转方法。 最后将图像转换为Tensor类型并进 行标准化。 可以将以上方法添加到数据集加载 器中进行批量的数据增强。 16 偏差和方差 训练集误差和交叉验证集误差近似时：偏差/欠拟合 交叉验证集误差远大于训练集误差时：方差/过拟合 x1 x2 x1 x2 x1

为了解决这个问题，Transformer为每个 输入的词嵌入添加了一个向量。这些向 量遵循模型学习到的特定模式，这有助 于确定每个单词的位置，或序列中不同 单词之间的距离。这里的直觉是，将位 置向量添加到词嵌入中使得它们在接下 来的运算中，能够更好地表达的词与词 之间的距离。 34 2.Transformer的工作流程 为了让模型理解单词的顺序，我们添加了位置编码向量，这些向量的值 遵循特定的模式。 Transformer的训练 Transformer 总结 •Transformer 与 RNN 不同，可以比较好地并行训练。 •Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加 位置 Embedding，否则 Transformer 就是一个词袋模型了。 •Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输 出进行线性变换得到。

generate() 方 法 替 代。 这 里 使 用 了 apply_chat_template() 函数将消息转换为模型能够理解的格式。其中的 add_generation_prompt 参数用于在输入中添加生成提示，该提示指向 <|im_start|>assistant\n 。尤其需要注意的是，我们 遵循先前实践，对 chat 模型应用 ChatML 模板。而 max_new_tokens 参数则用于设置响应的最大长度。此 scales 来量化你的模型 要提升量化模型的质量，一种可能的解决方案是应用 AWQ scales。具体操作步骤如下：首先，在使用 AutoAWQ 运行 model.quantize() 时，请务必记得添加 export_compatible=True 参数，如下所示： ... model.quantize( tokenizer, quant_config=quant_config, export_compatible=True vLLM 21 Qwen llm = LLM(model="Qwen/Qwen1.5-7B-Chat-GPTQ-Int4", quantization="gptq") 同样地，您可以在运行服务时添加 --quantization 参数，如下所示： python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen1.5-7B-Chat-AWQ

数据决定一切 数据大小 准 确 率 22 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数

数据决定一切 数据大小 准 确 率 26 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数

+ Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter PyCharm 下一课时 回归问题 Thank You.

org/jira/browse/YARN-5517� TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度NodeManager端实现：� NodeManager yarn-site.xml中添加配置：� � � � yarn.nodemanager.resource.gpu-cores ((2