1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学 习的能力，这对于减轻自然语言处理（NLP）中对监督学习的依赖至关重要 ✓ GPT（Generative Pre-training Transformer）于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任 务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据

Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 旷视科技 计算机视觉技术等 安防 中国 2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 深度学习入门-图像分割 18 自然语言处理（Natural Language Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器

303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.4 读取长序列数据 . . 646 13.14.7 对测试集分类并在Kaggle提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 14 自然语言处理：预训练 649 14.1 词嵌入（word2vec） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.10.2 用BERT表示文本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701 15 自然语言处理：应用 703 15.1 情感分析及数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文：探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 | 横纵一体的无人车控制方案 304 目录 智能搜索模型预估框架 Augur 的建设与实践 作者：朱敏 紫顺 乐钦 洪晨 乔宇 武进 孝峰 俊浩等 户的展示顺序问题，此时需要 BERT as a Feature。一般的做法是离线进行 BERT 批量计算，灌入特征存储供线上使用。但这种方式存在时效性较低（T+1）、覆盖度差 等缺点。最好的方式自然是可以在线实时去做 BERT 模型预估，并将预估输出值作 为特征，用于最终的模型打分。这就需要 Augur 提供 Model as a Feature 的能力。 得益于 Augur 抽象的流程框架，我们很快超额完成了任务。Model 来解决问题： ● LocalModelFeature： 解决同构 Model Feature 的需求，用户只需像配置 普通特征表达式一样即可实现在线的 Model Stacking；当然，内部自然有优 化逻辑，比如外部模型和特征模型所需的特征做统一整合，尽可能的减少资源 消耗，提升性能。 该特征所配置的模型特征，将在本机执行，以减少 RPC。 ● RemoteModelFeature：解决异构

营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论

营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 实体提取（人名、地点、事件） 分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论

由于『操作系统的核心 ( Kernel ) 必须要跟硬件配合，以提供及控制硬件的资源进行良好的工作！』，而在 早期每一家生产计算机硬件的公司还没有所谓的『协议』的概念，所以每一个计算机公司出产的硬件自然 就不相同啰！因此他们必须要为自己的计算机硬件开发合适的 Unix 系统，所以，他们自行开发的 Unix 当 然只能配合本身的硬件配备啰！例如在学术机构相当有名的 Sun 、 Cray 与 HP 就是这一种情况，他们开 或者是大型工作站 ( Workstation ) 划上等号！ 此外，由于版本太多了，而大家都是同样来自于 Unix 这个老祖宗，当然也都称自己是 Unix ，好了，如此 一来，许多商业公司自然就会有类似的软件发表，喝！那么自然就有些许的商业纠纷啰！真是伤脑筋～ • 1984 年的 GNU 与 Free Software Foundation： Unix 在商业上面的问题让许多对于 Unix 喜好者感到相当的忧心，其中一个就是有名的 外，对于其作品以自由 ( free ) 的 GNU General Public License ( GPL ) 的授权模式提供大众使用。这个 FSF 的核心观念是『版权制度是促进社会进步的手段，版权本身不是自然权力。 』对于 FSF 有兴趣或者对于 GNU 想要更深入的了解时，请参考朝阳大学的洪朝贵教授的网站，里面有更为深入的解说！而且， Stallman 的 GNU General Public License

影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 数据分析 Open AI o3mini 响应速度快，高效输出数据分析 结果，分析各因素对关键指标生 存率的影响，语言表达自然，重 点突出结合历史背景对数据规律 进行验证，但没有察觉数据异常。 DeepSeek R1 详细展示长思维链，精准提取关键指 标“幸存率”，分析多个因素特征对 幸存率的影响，结合历史背景对数据 中-英、英-中互译指令 指令：我想让你充当一名科研类的英汉翻译，我会向你提供一种语言的一些段落，你的任务是将这些段落准确地、学术性 地翻译成另一种语言。翻译后不要重复原文提供的段落。您应使用人工智能工具（如自然语言处理）以及有关有效写作技巧 的修辞知识和经验进行回复。我会给你如下段落，请告诉我是用什么语言写的，然后翻译。我希望你能以标记表的形式给出 输出结果，其中第一列是原文，第二列是翻译后的句子，每行只给出一个句子 drop indicating failure occurred. 改写降重指令 指令：我想让你充当科研写作专家，并提供一些英文或中文段落，你的任务是用原文改写段落。你应该使用 人工智能工具（如自然语言处理）、修辞知识和你在有效科学写作技巧方面的专业知识来回答。请只提供改 写后的文本，不作任何解释，请用科研语气风格重写下面的文字： 解读文献配图指令 指令：这是发表在【杂志名称】期刊上的一

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 刊发表，获得国际学术界的认可。 年底，零一万物推出的 Yi 模型，200K 上下文窗口，可处 理约 40 万字的文本，成为当时全球大模型中最长的上下文 窗口。其中 Yi-34B 在 Hugging 革掉了多少拿 OpenAI API 去套壳的“创新应用”的命？ 十三、报告介绍 作为《2023 中国开源开发者报告》的引导，这里还是把 话题拉回来，简介一下整个报告。 前边讲到的 LLM 领域大放异彩，自然是会作为报告中的 一个重要部分，我们策划了一个《2023 LLM 技术报告》 篇章，整体围绕 LLM Tech Map 梳理逻辑来展开。 从基础设施、大模型、Agent、AI 编程、工具和平台，以

Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19