华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- f(text)=label 词 句子 篇章 对话 5 文本分类方法简史-机器学习 特征提取 特征选择 输入 文本 模型训练 模型部署 评测 label 预测标签 词袋 TFIDF Ngram 词典 … 卡方 PCA 互信息 RFE … 分类器 SVM LR XGBoost 随机森林 … 6 文本分类方法简史-深度学习 输入 文本 模型训练 模型部署 评测 label label 预测标签 RNN CNN LSTM DCNN Attention HAN Transformer Elmo BERT MT-DNN 7 文本分类方法简史-深度学习 神经网络 语言模型 2003  神经网络NLP里程碑： Word2vec 2013 CNN RNN 2014左右 Attention 2014 Elmo, Bert 2018 解决维度灾难

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证 全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的

部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 通用智能 过去，为了提升某项任务上的算法性能，往往需要利用先验知识手动设计相应的特 预览版202112 第 1 章 人工智能绪论 10 征，以帮助算法更好地收敛到最优解。这类特征提取方法通常是与某些具体任务场景强相 关的，一旦场景发生了变动，这些依靠人工设计的特征和先验设定无法自适应新场景，因 此需要重新设计算法模型，模型的通用性不强。 设计一种像人脑一样可以自动学习、自我调整的通用智能机制一直是人类的共同愿 电影评价数据集 from torchtext import data, datasets # 需要先安装 torchtext 库 # 创建 2 个 Field 对象，即文本(设置最长 80 个单词)和文本的标签信息(正、负面评价) TEXT = data.Field(tokenize='spacy', fix_length=80) LABEL = data.LabelField(dtype=torch

2021年09月 机器学习-特征工程 黄海广 副教授 2 本章目录 01 相关概念 02 特征构建 03 特征提取 04 特征选择 3 1. 相关概念 01 认识Python 01 相关概念 02 特征构建 03 特征提取 04 特征选择 4 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 作用 是把原始数据转变为模型的训练数据的过程 获取更好的训练数据特征，使得机器学习模型逼 近这个上限 ➢ 使模型的性能得到提升 ➢ 在机器学习中占有非常重要的作用 构成 ➢ 特征构建 ➢ 特征提取 ➢ 特征选择 特征工程相关概念 1. 相关概念 5 通过这张图可以看出，各种不 同算法在输入的数据量达到一 定级数后，都有相近的高准确 度。于是诞生了机器学习界的 名言： 成功的机器学习应用不是 2019,36(01) 项目 特征提取 特征选择 共同点 都从原始特征中找出最有效的特征 都能帮助减少特征的维度、数据冗余 区别 ➢ 强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性 特征提取VS特征选择 1. 相关概念

3 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 8.2 文本预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 8.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 658 14.3.3 中心词和上下文词的提取 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660 14.3.4 负采样 . . . . . . . . . 692 14.9.1 为预训练任务定义辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693 14.9.2 将文本转换为预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 14.10 预训练BERT . . . .

120 6.1.4 make_sampling_table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 6.2 文本预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 6.2.1 Tokenizer 13.2.1 使用 ResNet50 进行 ImageNet 分类 . . . . . . . . . . . . . . . . . . . . . . 158 13.2.2 使用 VGG16 提取特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 13.2.3 从 VGG19 的任意中间层中抽取特征 . . 更深入的教程，请查看： • 开始使用 Sequential 顺序模型 • 开始使用函数式 API 在代码仓库的 examples 目录中，你会找到更多高级模型：基于记忆网络的问答系统、基于 栈式 LSTM 的文本生成等等。 KERAS: 基于 PYTHON 的深度学习库 3 1.4 安装指引 在安装 Keras 之前，请安装以下后端引擎之一：TensorFlow，Theano，或者 CNTK。我们 推荐

10 监 监控 控 38 1 限制用 限制用户 户定 定义 义的 的项 项目中每个目 目中每个目标 标提取可接受的示例数量 提取可接受的示例数量 创 创建在 建在达 达到提取示例 到提取示例阈值 阈值或无法提取目 或无法提取目标时 标时触 触发 发的警 的警报 报 注意 注意 限制提取示例可帮助防止在标签中添加多个未绑定属性导致的问题。开发人员还可以通过 限制其为指标定义的未绑定属性数量来 限制其为指标定义的未绑定属性数量来防止底层原因。使用绑定到一组有限可能值的属性 可减少潜在的键-值对组合数量。 2.11.1. 为用户定义的项目设置提取示例限制 您可以限制用户定义的项目中每个目标提取可接受的示例数量。 警告 警告 如果您设置了示例限制，则在达到限制后，不会为该目标摄取更多样本数据。 先决条件 先决条件 您可以使用具有 cluster-admin 角色的用户访问集群，也可以使用在 openshift-user-workload- enforcedSampleLimit 配置，以限制用户定义的项目中每个目标提 取可接受的示例数量： 如果指定此参数，则需要一个值。这个 enforceSampleLimit 示例将用户定义的项目中每个 目标提取的示例数量限制为 50,000。  $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

深度学习-CV（计算机视觉方向） 图像获取 提取二维图像 、三维图组、 图像序列或相 关的物理数据 ，如声波、电 磁波或核磁 共振的深度、 吸收度或反射 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 输入的语言变成有意思的符号和关

命名空间中创建一个名为 version-$version-$hash 的作 业。此作业使用执行发行镜像的容器，因此集群通过容器运行时下载镜像。然后，作业会将清单 和元数据从发行镜像提取到 CVO 访问的共享卷。 5. CVO 验证提取的清单和元数据。 6. CVO 检查一些 preconditions，以确保集群中没有检测到有问题的条件。某些条件可能会阻止更 新进行。这些条件可以由 CVO 本身决定，或由单个集群 运行以下命令并检查 username 和 userAgent 字段，以帮助识别使用 API 的工作负载： 例如： 您还可以使用 -o jsonpath 从 APIRequestCount 资源中提取 username 和 userAgent 值： 输出示例 出示例 2.1.1.3. 迁移已 迁移已删除 除 API 实例 例 有关如何迁移删除 Kubernetes API 的详情，请参阅 Kubernetes Alibaba Cloud、 、IBM Cloud 和 和 Nutanix 在这些平台上安装的集群使用 ccoctl 工具进行配置。 这些平台上的集群管理员必须执行以下操作： 1. 为新版本提取并准备 CredentialsRequest 自定义资源 (CR)。 第 第 2 章 章 准 准备 备更新集群 更新集群 29 2. 为新版本配置 ccoctl 工具，并使用它来更新云供应商资源。

Service Mesh Operator 镜像失败。 如果本地容器 registry 连接到镜像主机，请执行以下操作： i. 使用以下命令直接将发行版镜像推送到本地 registry: 该命令将发行信息提取为摘要，其输出包括安装集群时所需的 imageContentSources 数据。 ii. 记录上一命令输出中的 imageContentSources 部分。您的镜像信息与您的镜像存储库 相对应，您必须在安装过程中将 Quay.io。 4. 要创建基于您镜像内容的安装程序，请提取内容并将其固定到发行版中： 如果您的镜像主机无法访问互联网，请运行以下命令： 如果本地容器 registry 连接到镜像主机，请运行以下命令： 重要 重要 要确保将正确的镜像用于您选择的 OpenShift Container Platform 版本，您必 须从镜像内容中提取安装程序。 您必须在有活跃互联网连接的机器上执行这个步骤。 REG_CREDS 环境变量设置为 registry 凭证的文件路径，以便在后续步骤中使用。例如，对于 podman CLI: 4.3.7.2. 提取和 提取和镜 镜像目 像目录 录内容 内容 oc adm catalog mirror 命令提取索引镜像的内容，以生成镜像所需的清单。命令的默认行为会生成清 $ podman login registry.redhat.io $ REG_CR