华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- f(text)=label 词 句子 篇章 对话 5 文本分类方法简史-机器学习 特征提取 特征选择 输入 文本 模型训练 模型部署 评测 label 预测标签 词袋 TFIDF Ngram 词典 … 卡方 PCA 互信息 RFE … 分类器 SVM LR XGBoost 随机森林 … 6 文本分类方法简史-深度学习 输入 文本 模型训练 模型部署 评测 label label 预测标签 RNN CNN LSTM DCNN Attention HAN Transformer Elmo BERT MT-DNN 7 文本分类方法简史-深度学习 神经网络 语言模型 2003  神经网络NLP里程碑： Word2vec 2013 CNN RNN 2014左右 Attention 2014 Elmo, Bert 2018 解决维度灾难

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证 全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的

OpenAI 的 ChatGPT，Google Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较 这样的外部工具。我们仍然处于定义这一学科 的早期阶段，但到目前为止，ReAct 及其后继方法已指引出大语言模型最令人兴奋的一些应用领域。 10. 检索增强生成 试验 检索增强生成（RAG） 是一种结合预训练参数和非参数记忆的文本生成技术。它使你能够通过你的领域内特有 的包含上下文的知识，来强化预训练模型中的现有知识。使用 RAG，你会先从非参数记忆中去检索相关文档集 （一般是通过在向量数据库中的相似性搜索），再使用 LLM 览器引 擎，但复杂性仍然存在。比开发人员体验更糟糕的是用户体验：当必须在浏览器中加载和构建自定义 Web 组件 时，页面加载性能会受到影响，即使在预渲染和精心调整组件的情况下，也几乎无法避免“无样式内容闪烁” 或某些布局变化。放弃使用 Web 组件的决定可能会产生深远的影响，正如我们的一个团队曾经不得不将其基于 Web 组件的设计系统 Stencil 进行迁移。 技术 © Thoughtworks

数据集。 考虑到手写数字图片包含的信息比较简单，每张图片均被缩放到28 × 28的大小，同时 只保留了灰度信息，如图 3.2 所示。这些图片由多人书写，包含了如字体大小、书写风 格、粗细等丰富的样式，使得数据集的分布与真实的手写数字图片的分布尽可能地接近， 从而保证了模型的泛化能力。 图 3.2 MNIST 数据集样例图片 现在来讨论图片的表示方法。一张图片包含了ℎ行(Height/Row)， 电影评价数据集 from torchtext import data, datasets # 需要先安装 torchtext 库 # 创建 2 个 Field 对象，即文本(设置最长 80 个单词)和文本的标签信息(正、负面评价) TEXT = data.Field(tokenize='spacy', fix_length=80) LABEL = data.LabelField(dtype=torch 全连接层前向计算流程相对简单，梯度求导也较简单，但是它有一个最大的缺陷，在处理 较大特征长度的数据时，全连接层的参数量往往较大，使得深层数的全连接网络参数量巨 大，训练起来比较困难。近年来，社交媒体的发达产生了海量的图片、视频、文本等数字 资源，极大地促进了神经网络在计算机视觉、自然语言处理等领域中的研究，相继提出了 一系列的神经网络变种类型。 6.7.1 卷积神经网络 如何识别、分析并理解图片、视频等数据是计算机视觉的一个核心问题，全连接层在

3 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 8.2 文本预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 8.2 692 14.9.1 为预训练任务定义辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693 14.9.2 将文本转换为预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695 14.10 预训练BERT . . . . 预训练BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699 14.10.2 用BERT表示文本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701 15 自然语言处理：应用 703 15

以外的目的。本例使用这两者来演示能够提高 指定放置组内机器的网络性能的配置。 先决条件 先决条件 您在 AWS 控制台中创建了放置组。 注意 注意 确保您创建的放置组类型的规则和限制与预期的用例兼容。 流程 流程 1. 在文本编辑器中，为现有机器集打开 YAML 文件或创建新机器。 2. 编辑 providerSpec 字段中的以下行： 指定支持 EFA 的实例类型。 指定 EFA 网络接口类型。 指定区域，如 us-east-1a。 OpenShift Container Platform 4.14 机器管理 机器管理 34 2 1 2 3 4 5 指定 userData.txt 作为新自定义 secret 的名称。 2. 在文本编辑器中，打开 userData.txt 文件，并在文件中找到最后的 } 字符。 a. 在紧接下来的行中，添加一个 , b. 在 , 之后创建一个新行并添加以下配置详情： 您要作为 ultra virtualizedTrustedPlatformModule 字段。 有关相关特性和功能的更多信息，请参阅 Microsoft Azure 文档中有关 Azure 虚拟机的受信任的启动 文 档。 流程 流程 1. 在文本编辑器中，为现有机器集打开 YAML 文件或创建新机器。 2. 编辑 providerSpec 字段下的以下部分以提供有效的配置： 启用 用 UEFI 安全引 安全引导和 和 vTPM 的有效配置示例

Kubernetes 体验。 第 第 1 章 章 架 架构 构概述 概述 3 部署 部署 维护应用程序生命周期的 Kubernetes 资源对象。 Docker 包含要在终端执行以编译镜像的用户命令的文本文件。 托管 托管 control plane OpenShift Container Platform 功能，允许从其 data plane 和 worker 在 OpenShift Container MachineConfig 对象中的"Path:"。例如： 输 输出示例 出示例 确保为机器指定一个较新的名称（如 10-worker-container-runtime）。请记住，每个文件的内容都是 URL 样式的数据。然后将新机器配置应用到集群。 $ oc get machineconfig NAME GENERATEDBYCONTROLLER

递给适配器的数据。 这些包括“metrics”，“logentry”，“tracepan”等。这些抽 象与后端想要消费的数据不匹配，导致运维需要编写一些手动配置， 以便在规范的 Istio 样式和后端特定的样式之间进行映射。原本期望 这种映射可以在适配器中实现很大程度上的自动化，但是最终还是 太复杂并需要手动配置。如果要性能，该怎么做？ Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？

详细信息，请单击页面顶部的链接。 要克隆一个虚拟机，请重命名要还原的虚拟机。 如果为备份提供的默认凭据不具备还原特权，您可以指定备用凭据。 即将完成 检查备份作业的设置。此页面包括即将还原对象的树样式表示形式和摘要信息。树样式表示形式包含如下信息： n 对象名称。 n 还原点的创建时间。 n 将用作已还原的虚拟机或虚拟磁盘的目标的数据存储。 n 虚拟磁盘节点信息。 n 是否还原配置。 n 是否连接网卡。

词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 2 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 16 3.Word2Vec （下图左边为CBOW，右边为Skip-Gram）