2 字节对编码（Byte Pair Encoding） . . . . . . . . . . . . . . . . . . . . . . . . . . . 675 14.7 词的相似性和类比任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678 14.7.1 加载预训练词向量 . 14.8.1 从上下文无关到上下文敏感 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683 14.8.2 从特定于任务到不可知任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684 14.8.3 BERT：把两个最好的结合起来 . . . 输入表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685 14.8.5 预训练任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688 14.8.6 整合代码 .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 回调函数 Callbacks 146 11.1 回调函数使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 11.1.13 LambdaCallback [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 11.2 创建一个回调函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.1 例: 记录损失历史 evaluation_data 或 evaluation_split 时，评估将在 每个 epoch 结束时运行。 • 在 Keras 中，可以添加专门的用于在 epoch 结束时运行的 callbacks 回调。例如学习率变化 和模型检查点（保存）。 3.3.6 如何保存 Keras 模型？ 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） 不建议使用 pickle 或 cPickle

SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字 Era https://arxiv.org/abs/1707.02968 数据除了人工以外的获取方法 • 扩增数据 – 各种图像增强，加噪声 • 非监督学习 - 聚类 • 迁移学习 – 利用相似任务训练好的网络 • 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选

机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 的。 怎么实 杂、抽象逻辑的研究方向，称为神经网 络。神经网络方向的研究经历了两起两落。从 2012 年开始，由于算法效果极为显著，深层 神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上 甚至超越了人类智能水平，开启了以深层神经网络为代表的人工智能的第三次复兴。深层 神经网络也有了一个新名字，叫作深度学习。一般来讲，神经网络和深度学习的区别并不 大，深度学习特指基于深层神经网络实

分类（Classification） 即是将图像结构化为某一 类别的信息，用事先确定 好的类别(string)或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的 是整张图片的内容描述，而 检测则关注特定的物体目标 ，要求同时获得这一目标的 类别信息和位置信息。 分割（Segmentation） 分割包括语义分割（semantic segmentation）和实例分割（ instance segmentation），前者 是对前背景分离的拓展，要求 分离开具有不同语义的图像部 分，而后者是检测任务的拓展 ，要求描述出目标的轮廓（相 比检测框更为精细）。 5 目标检测和识别 • 怎样检测和识别图 像中物体，如汽车、 牛等？ 1.目标检测概述 6 目标识别的应用 1.目标检测概述 proposals作为输入数据，训练Fast R-CNN一个单独的检测网络，这时候两个网络还没有共享卷 积层； • 第三步，调优RPN，用第二步的Faster RCNN model初始化RPN再次进行训练，但固定共享的卷 积层，并且只微调RPN独有的层，现在两个网络共享卷积层了； • 第四步，调优Faster RCNN,由第三步的RPN model初始化Faster RCNN网络，输入数据为第三步生 成

all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention Add & Norm Input Embedding Output Embedding Feed Positional Encoding Positional Encoding 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 块就相当于句子里的一个 词。这里把每个小块称作 Patch，而Patch Embedding 就是把每个Patch再经过一 1.图片切分为patch 2.patch转化为embedding 3.位置embedding和tokensembedding相加 4.输入到Transformer模型 5.CLS输出做多分类任务 10 先将图片分成NxN的patch块(原始论文是16x16) patch块可以重叠(上图没有重叠，是9x9的patch块) 2.模型介绍 11 将patch打平， 对每个 patch 进行线性映射，提取特征

为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的：让机器理解人类的语言，是人工智能领域的重要 分支，用于分析、理解和生成自然语言，方便人机交流 来进行命名实体识别 （NER）和一个 CNN 来进行关系分类（RC）。 基于联合标注的方法 把原来涉及到序列标注任务和分类任务的关系抽取完全变成了一个序 列标注问题。然后通过一个端对端的神经网络模型直接得到关系实体 三元组。 知识图谱关系抽取：基于联合标注 将抽取问题转换成标注任务 训练一个端到端标注模型来抽取关系 输入句子 标注框架 抽取结果 端到端标注模型 知识图谱关系抽取：基于联合标注 总结：深度学习用于文本挖掘的优缺点 优点： 1，可以使用非监督数据训练字词向量，提升泛化能力 2，端到端，提供新思路 3，一些模型结构能够克服传统模型缺点 缺点： 1，小数据量效果不一定好 2，调参工作量有时不亚于特征工程 3，客户部署硬件环境限制 总结：一些实践经验 1，在业务场景下，尽量收集并理解数据，分析问题本质，选择合适模型 2，初始阶段可以使用传统机器学习模型快速尝试，作为baseline版本

多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest A/B流量划分 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS BE Redis 读取数据 向量引擎 BE/Hologres/Faiss/Milvus 向量检索 冷启动召 回 冷启动排 序 Pipeline1 Pipeline2 标准化: Standard Solutions 标准化: Standard Solutions 智能推荐解决方案 > 实时推荐方案 gn, ln?  激活函数: relu, leaky_relu, swish ?  Backbone: resnet, hrnet, mobilenet, transformer?  多任务模型: share-bottom, mmoe, ple?  特征选择/生成: Age, sex, comment, click… 解决方案: 超参搜索 效果提升 模型理解 问题: 黑盒

L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张 量 调 用 retain_graph （） 使 用 t e n s o r.grad.zero_() 清 除 张 量 梯 度 如 果 要 保 留 计 算 图 ， 可 通 过 设 置 b a c kw 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代; • 通过神经网络处理输入; • 计算损失(输出结果和正确值的差距大小) • 将梯度反向传播回网络的参数; • 更新网络的参数,主要使用如下简单的更新原则: weight = weight - learning_rate * gradient 31 定义 网络 1 损失 函数 2 优化

问题。这也是为什么您发现一个大型语言模型服务总是占用大量内存的原因。 1.11 SkyPilot 1.11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot LoraConfig 初始化 LoRA 配置。若应用 Q-LoRA，则应当采用 prepare_model_for_kbit_training 。请注意，目前还不支持对 LoRA 的续训（resume）。接下来的任务就交给 trainer 处理，此时不妨喝杯咖啡稍 作休息！ 下一步 现在，您可以使用一个非常简单的脚本来执行不同类型的 SFT。另外，您还可以选择使用更高级的训练库， 例如 Axolotl 或 LLaMA-Factory 的最简单方法。欢迎通过查看官方仓库深入了解详细信息！ 1.13 Function Calling 在 Qwen-Agent 中，我们提供了一个专用封装器，旨在实现通过 dashscope API 与 OpenAI API 进行的函数调 用。 1.13. Function Calling 37 Qwen 1.13.1 使用示例 import json import os from qwen_agent.llm import get_chat_model