1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学 习的能力，这对于减轻自然语言处理（NLP）中对监督学习的依赖至关重要 ✓ GPT（Generative Pre-training Transformer）于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任 务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却

Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 旷视科技 计算机视觉技术等 安防 中国 2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 深度学习入门-图像分割 18 自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器

303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.4 读取长序列数据 . . 646 13.14.7 对测试集分类并在Kaggle提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 14 自然语言处理：预训练 649 14.1 词嵌入（word2vec） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.10.2 用BERT表示文本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701 15 自然语言处理：应用 703 15.1 情感分析及数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19

效果。下图 1 简要回顾了预训练语言模型的发展历程。2013 年，Google 提出的 Word2vec[4] 通过神经网络预训练方式来生成词向量（Word Embedding），极大地 推动了深度自然语言处理的发展。针对 Word2vec 生成的固定词向量无法解决多义 词的问题，2018 年，Allen AI 团队提出基于双向 LSTM 网络的 ELMo[5]。ELMo 根 据上下文语义来生成 引 入 了 MLM（Masked Language Model）及 NSP（Next Sentence Prediction， NSP）两个预训练任务，并在更大规模语料上进行预训练，在 11 项自然语言理解任 务上刷新了最好指标。BERT 的成功启发了大量后续工作，总结如下： ● 融合更多外部知识的百度 ERNIE[8]， 清华 ERNIE[9] 和 K-BERT[10] 等； ● ● 翻译模型：通过统计机器翻译方法将 Doc 进行改写后与 Query 进行匹配 [25]。 这些方法弥补了字面匹配方法的不足，不过从实际效果上来看，还是无法很好地解决 语义匹配问题。随着深度自然语言处理技术的兴起，基于深度学习的语义匹配方法成 为研究热点，主要包括基于表示的匹配方法（Representation-based）和基于交互 的匹配方法（Interaction-based）。

中-英、英-中互译指令 指令：我想让你充当一名科研类的英汉翻译，我会向你提供一种语言的一些段落，你的任务是将这些段落准确地、学术性 地翻译成另一种语言。翻译后不要重复原文提供的段落。您应使用人工智能工具（如自然语言处理）以及有关有效写作技巧 的修辞知识和经验进行回复。我会给你如下段落，请告诉我是用什么语言写的，然后翻译。我希望你能以标记表的形式给出 输出结果，其中第一列是原文，第二列是翻译后的句子，每行只给出一个句子 drop indicating failure occurred. 改写降重指令 指令：我想让你充当科研写作专家，并提供一些英文或中文段落，你的任务是用原文改写段落。你应该使用 人工智能工具（如自然语言处理）、修辞知识和你在有效科学写作技巧方面的专业知识来回答。请只提供改 写后的文本，不作任何解释，请用科研语气风格重写下面的文字： 解读文献配图指令 指令：这是发表在【杂志名称】期刊上的一篇 research 提示词集。 三 效果如何？ 元知AI综述工具 元知是国内由清华、北航专家团队研发的一个AI学术平台，目前其AI综述生成工具已开放使用，能够帮助用户从海 量文献中提取核心信息，通过自然语言处理算法，实现从文献梳理到观点提取到研究评论的一键式全自动生成。 产品 概况 功能亮点 功能亮点  多版本与模块化支持：目前提供三个版本（基础版、增 强版、专业版），能够灵活应对不同用户的综述需求。

是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展 这些工具提供了先进的算法、预训练模型和优化技术，极大地简化了模型开发过程，加速了实验周期， 并使得模型能够更好地适应各种不同的应用场景。此外，它们还促进了学术界和工业界之间的合作与 知识共享，推动了自然语言处理技术的快速发展和广泛应用。 相比前边的大模型框架和微调，一言以蔽之： 、 11 / 32 LLM 基础设施：大模型训练平台与工具 大模型训练平台与工具根据其性质不同，可分为以下几类： 大模型）、上海人工智能实验室（书 生通用大模型）、腾讯（混元大模型，9月15 日通过）。 18 / 32 大模型应用现状：知名大模型应用 LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理 等。 以 为代表的文本生成应用， 为代表的图片生成 应用，以 为代表的 AI 编程应用，以 为代表的数字人生成应用， 在推出后都获得了大量用户的青睐。 《自然》2023

视频生产 视频修复 内容生产管理 智能封面 自动歌词 语音交互 人机协作运营 创新体验 易智字幕工具 易智语音工具 音视频效率工具 行业应用 产品 解决方案 语音技术 自然语言处理 计算机视觉 能力 组件 技术领先 算法能力行业领先，多次斩获 国内外技术竞赛最高奖项。 实践成熟 长期服务网易集团内大量业 务及产品，实践验证成熟可 靠。 贴合行业 产品和解决方案更贴合用户 易智音视频效率工具 综合运用语音技术、自然语言处理、计算机视觉等AI能力组件，精准的理解视音频、直播等媒体内容。可应用于内 容运营、分发推荐、生产管理等场景。 易智多媒体内容理解平台 22 PRODUCT SOLUTIONS 语音技术：2021 年浙江省科学技术进步奖一等奖；2021年 Dcase Audio Caption 竞赛冠军 自然语言处理：2021 年千言计划短文本相似度第一名 年千言计划短文本相似度第一名 计算机视觉：2021 年 ICDAR 比赛语种识别3项第一名 产品荣誉 产品能力 提供丰富的AI原子能力，涵盖语音技术、自然语言处理、计算机视觉等领域，可广泛应用于泛娱乐、客服、电商、 教育和政企服务等行业。 易智语音/NLP/CV能力组件 语音技术 提供一句话识别、录音文件转写、实时语 音识别等语音技术。具备开放灵活的接 入和部署方式，可应用于语音质检、语音 输入法、语音反垃圾、会议字幕等场景。

GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的：让机器理解人类的语言，是人工智能领域的重要 分支，用于分析、理解和生成自然语言，方便人机交流 应用：智能问答，机器翻译，文本分类，文本摘要，标 签提取，情感分析，主题模型 NLP发展简史 1950S 1980s 1990s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 成熟，同样影响NLP领 域，从传统的机器学习 逐渐过渡到深度学习 NLP技术层次 日常工作中各类常见的文本形式 新闻文章 企业合同/公文 企业合同/公文 客户评论意见 企业产品手册 法律/人事/证券等专业文本 问答资料 02 深度学习与NLP 深度学习发展与应用 语音识别 计算机视觉 自然语言处理 海量数据 算法进步 芯片技术 应用 基础 深度学习与机器学习 深度学习 例如CNN、RNN等 机器学习 例如Logistics Regression AI 例如Knowledge Base 标准机器学习过程