华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- f(text)=label 词 句子 篇章 对话 5 文本分类方法简史-机器学习 特征提取 特征选择 输入 文本 模型训练 模型部署 评测 label 预测标签 词袋 TFIDF Ngram 词典 … 卡方 PCA 互信息 RFE … 分类器 SVM LR XGBoost 随机森林 … 6 文本分类方法简史-深度学习 输入 文本 模型训练 模型部署 评测 label label 预测标签 RNN CNN LSTM DCNN Attention HAN Transformer Elmo BERT MT-DNN 7 文本分类方法简史-深度学习 神经网络 语言模型 2003  神经网络NLP里程碑： Word2vec 2013 CNN RNN 2014左右 Attention 2014 Elmo, Bert 2018 解决维度灾难

情感分类实战 主讲人：龙良曲 Google CoLab ▪ Continuous 12 hours ▪ free K80 for GPU ▪ no need to cross GFW Load Dataset Network Load word embedding Train Test 下一课时 GAN Thank You.

多分类问题 主讲人：龙良曲 Network Architecture Train em…. 下一课时 PyTorch全连接 层 Thank You.

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证 全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的

softmax回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.4.1 分类问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.2 网络架构 3.4.8 模型预测和评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 3.5 图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.5.1 读取数据集 3.6.4 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 3.6.5 分类精度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.6.6 训练

词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 2 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 16 3.Word2Vec （下图左边为CBOW，右边为Skip-Gram）

softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.4 基于 LSTM 的序列分类： . . . . . . . . . . . . . . . . . . . . 13 3.1.5.5 基于 1D 卷积的序列分类： . . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.6 基于栈式 LSTM 的序列分类 . . . . . . . . . . . . . . . . . . . . . 14 3.1.5.7 带有状态 (stateful) 120 6.1.4 make_sampling_table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 6.2 文本预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 6.2.1 Tokenizer

开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签

先验概率： 后验概率： 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为 基础，故统称为贝叶斯分类。 根据以往经验和分析得到的概率。我们用?(?)来代表在没有训练 数据前假设?拥有的初始概率。 根据已经发生的事件来分析得到的概率。以?(?|?)代表假设? 成 立的情下观察到?数据的概率，因为它反映了在看到训练数据? 后?成立的置信度。 贝叶斯分类： 5 联合概率是指在多元的概率分布中多个随机变量分别满足各自条 由训练数据学习联合概率分布 ?(?, ?)，然后求 得后验概率分布?(?|?)。具体来说，利用训练数 据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?)?(?|?)，再利用它进行分类。 即：估计?(?|?) 然后推导?(?|?) 线性回归、逻辑回归、感知机、决策树、支持向 量机…… 朴素贝叶斯、HMM、深度信念网络(DBN)…… 监督学习方法又分 生成方法（Generative 这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减 少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易 于实现。其缺点是分类的性能不一定很高。 11 2.朴素贝叶斯原理 3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测 我们要求的是?(?|?)，根据生成模型定义我们可以求?(?, ?)和?(?)假设中的 特征是条件独立的。这个称作朴素贝叶斯假设。 形式化表示为，（如果给定

#哑编码，对IRIS数据集的目标值，返回值为哑编码后的数据 OneHotEncoder().fit_transform(iris.target.reshape((-1,1))) 12 分箱 一般在建立分类模型时，需要对连续变量离散化，特征离散化后， 模型会更稳定，降低了模型过拟合的风险。 2. 特征构建 设成绩为：[63 64 88 71 42 60 99 70 32 88 34 69 83 52 提取目的：自动地构建新的特征，将原始数据转换为一组具有明显物理 意义（比如几何特征、纹理特征）或者统计意义的特征。 常用方法 降维方面的PCA、ICA、LDA等 图像方面的SIFT、Gabor、HOG等 文本方面的词袋模型、词嵌入模型等 3. 特征提取 18 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.PCA(Principal Component 特征向量 归一化 生成特征向量 步骤 图像特征提取 3. 特征提取 22 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1.词袋模型 将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量的每 一个维度代表一个单词，而该维度的权重反映了该单词在原来文章中的重要程度 采用 TF-IDF 计算权重，公式为 ?? − ???(?,