. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 回调函数 Callbacks 146 11.1 回调函数使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 11.1.13 LambdaCallback [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 11.2 创建一个回调函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.1 例: 记录损失历史 . 支持的 GPU, 比如 AMD, 通过 PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的 GPU 集群上训练。 • Keras 可以在

以引导感兴趣的读者走得更远。Bela Bollobas的《线性分析》 (Bollobás, 1999) 对线性代数和函数分析进行了深入的研究。(Wasserman, 2013) 是一本很好的统计学指南。 如果读者以前没有使用过Python语言，那么可以仔细阅读这个Python教程3。 论坛 与本书相关，我们已经启动了一个论坛，在discuss.d2l.ai4。当对本书的任何一节有疑问时，请在每一节的末 能。但是，什么才算真正的提高呢？在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多 数情况是“可优化”的，这被称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优 化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。但这 只是一个惯例，我们也可以取一个新的函数，优化到它的最高点。这两个函数本质上是相同的，只是翻转一 size）。η表示学习率（learning rate）。批量 大小和学习率的值通常是手动预先指定，而不是通过模型训练得到的。这些可以调整但不在训练过程中更新 的参数称为超参数（hyperparameter）。调参（hyperparameter tuning）是选择超参数的过程。超参数通常 88 3. 线性神经网络 是我们根据训练迭代结果来调整的，而训练迭代结果是在独立的验证数据集（validation dataset）上评估得

confusion_matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. 25 2.Scikit-learn主要用法 交叉验证及超参数调优 from sklearn.model_selection import cross_val_score clf = DecisionTreeClassifier(max_depth=5) scores sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn import svm svc = svm.SVC() best_params_ 在参数网格上进行穷举搜索，方法简单但是搜索速度慢（超参数较多时），且不 容易找到参数空间中的局部最优 27 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺随机搜索 from sklearn.model_selection import RandomizedSearchCV from scipy.stats import randint svc

深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常

proposals作为输入数据，训练Fast R-CNN一个单独的检测网络，这时候两个网络还没有共享卷 积层； • 第三步，调优RPN，用第二步的Faster RCNN model初始化RPN再次进行训练，但固定共享的卷 积层，并且只微调RPN独有的层，现在两个网络共享卷积层了； • 第四步，调优Faster RCNN,由第三步的RPN model初始化Faster RCNN网络，输入数据为第三步生 成的

验证码识别模型 优化器对比： 验证码识别模型 “Hello TensorFlow” Try it 模型部署与效果演示 数据-模型-服务流水线 数据集 生成 数据 处理 模型 训练 参数 调优 模型 部署 识别 服务 使用 Flask 快速搭建 验证码识别服务 使用 Flask 启动 验证码识别服务 $ export FLASK_ENV=development && flask

git+https://github.com/huggingface/transformers 我们建议您使用 Python3.8 及以上版本和 Pytorch 2.0 及以上版本。 3 Qwen 1.2 快速开始 本指南帮助您快速上手 Qwen1.5 的使用，并提供了如下示例：Hugging Face Transformers 以及 ModelScope 和 vLLM 在部署时的应用实例。 1.2.1 Hugging python 脚本以及 shell 脚本的相关细节 Shell 脚本 在展示 Python 代码之前，我们先对包含命令的 Shell 脚本做一个简单的介绍。我们在 Shell 脚本中提供了一些 指南，并且此处将以 finetune.sh 这个脚本为例进行解释说明。 要为分布式训练（或单 GPU 训练）设置环境变量，请指定以下变量：GPUS_PER_NODE 、NNODES、NODE_RANK 的最简单方法。欢迎通过查看官方仓库深入了解详细信息！ 1.13 Function Calling 在 Qwen-Agent 中，我们提供了一个专用封装器，旨在实现通过 dashscope API 与 OpenAI API 进行的函数调 用。 1.13. Function Calling 37 Qwen 1.13.1 使用示例 import json import os from qwen_agent.llm import get_chat_model

total_correct/total) 通过简单的 3 层神经网络，训练固定的 20 个 Epoch 后，我们在测试集上获得了 87.25%的准确率。如果使用复杂的神经网络模型，增加数据增强环节，精调网络超参数等 技巧，可以获得更高的模型性能。模型的训练误差曲线如图 5.7 所示，测试准确率曲线如 图 5.8 所示。 图 5.7 MNIST 训练误差曲线 图 5.8 MNIST 返回待优化参数列表 torch.Size([512, 784]) torch.Size([512]) 实际上，网络层除了保存了待优化张量列表 parameters，还有部分层包含了不参与梯度优 化的张量，如后续要介绍的 Batch Normalization 层，可以通过 named_buffers 函数返回所有 不需要优化的参数列表。 除了通过 parameters 函数获得匿名的待优化张量列表外，还可以通过成员函数 函数及其导数 为了帮助理解反向传播算法的实现细节，本章选择不使用 TensorFlow 的自动求导功 能，本章的实现部分全部使用 Numpy 演示，将使用 Numpy 实现一个通过反向传播算法优 化的多层神经网络。这里通过 Numpy 实现 Sigmoid 函数的导数，代码如下： import numpy as np # 导入 numpy 库 def sigmoid(x): # 实现

语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  学习率: 1e-3, 1e-4, 1e-5 ?  Embedding维度: 8, 16, 32 ?  Normalization: bn, gn, ln? 