1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 2.使用这些高质量的嵌入来训练语言模型（进行下一个单词 预测）。 19 3.Word2Vec 负采样 并不是每次迭代都训练全部10,000个，我们只训练其中 的5个，我们要训练对应真正目标词那一个分类器，再训练 4个随机选取的负样本，这就是

Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效

JIRA 问题。请提供具体详 情，如章节名称和 OpenShift Container Platform 版本。 1.1.6. 使开源包含更多 红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。我们从这四个术语开始：master、 slave、黑名单和白名单。由于此项工作十分艰巨，这些更改将在即将推出的几个发行版本中逐步实施。详 情请查看 CTO Chris Wright 的信息。 1 JIRA 问题。请提供具体详 情，如章节名称和 OpenShift Container Platform 版本。 1.2.8. 使开源包含更多 红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。我们从这四个术语开始：master、 slave、黑名单和白名单。由于此项工作十分艰巨，这些更改将在即将推出的几个发行版本中逐步实施。详 情请查看 CTO Chris Wright 的信息。 1 JIRA 问题。请提供具体详 情，如章节名称和 OpenShift Container Platform 版本。 1.3.8. 使开源包含更多 红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。我们从这四个术语开始：master、 slave、黑名单和白名单。由于此项工作十分艰巨，这些更改将在即将推出的几个发行版本中逐步实施。详 情请查看 CTO Chris Wright 的信息。 1

用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 训练难题 13.7 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 解过程，根本无法通过既定规则模拟实现。为了解决这类问题，一门通过让机器自动从数 据中学习规则的研究学科诞生了，称为机器学习，并在 1980 年代成为人工智能中的热门学 预览版202112 第

发行版本 第 第 8 章 章 DEPLOYMENTS 8.1. 了解 DEPLOYMENT 和 DEPLOYMENTCONFIG 对象 8.2. 管理部署过程 8.3. 使用部署策略 8.4. 使用基于路由的部署策略 4 4 4 4 5 5 11 11 16 16 23 24 32 32 32 33 34 35 36 37 38 39 40 41 41 41 42 42 LinuxONE 环境中 应用服务绑定。 1.2.4. 部署应用程序 您可以使用 Deployment 或 DeploymentConfig 对象部署应用程序，并从 Web 控制台管理应用程序。您 可以创建部署策略，以帮助减少更改期间或升级到应用程序的停机时间。 您还可以使用 Helm，它是一个软件包管理器，简化了应用程序和服务部署到 OpenShift Container Platform 集群的过程。 浏览至 Home → Project。 2. 选择要查看的项目。 在本页中，点击 Workloads 以查看项目中的工作负载。 2.1.5. 使用 CLI 查看项目 查看项目时，只能看到根据授权策略您有权访问的项目。 流程 流程 1. 要查看项目列表，请运行： $ oc new-project \ --description=""

HELM 发行版本 第 第 7 章 章 部署 部署 7.1. 了解 DEPLOYMENT 和 DEPLOYMENTCONFIG 对象 7.2. 管理部署过程 7.3. 使用部署策略 7.4. 使用基于路由的部署策略 第 第 8 章 章 配 配额 额 8.1. 项目的资源配额 8.2. 跨越多个项目的资源配额 4 4 4 4 5 5 11 11 16 16 22 23 31 LinuxONE 环境中 应用服务绑定。 1.2.4. 部署应用程序 您可以使用 Deployment 或 DeploymentConfig 对象部署应用程序，并从 Web 控制台管理应用程序。您 可以创建部署策略，以帮助减少更改期间或升级到应用程序的停机时间。 您还可以使用 Helm，它是一个软件包管理器，简化了应用程序和服务部署到 OpenShift Container Platform 集群的过程。 浏览至 Home → Project。 2. 选择要查看的项目。 在本页中，点击 Workloads 以查看项目中的工作负载。 2.1.5. 使用 CLI 查看项目 查看项目时，只能看到根据授权策略您有权访问的项目。 流程 1. 要查看项目列表，请运行： $ oc new-project \ --description=""

. . . . . . . . . . . . . . . . . . . 302 8.3 语言模型和数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.1 学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.4 读取长序列数据 . 有隐状态的循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 8.4.3 基于循环神经网络的字符级语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.4.4 困惑度（Perplexity） . . . . . . . . .

微服务架构通过细粒度的服务解耦拆分，带来缩短开发周期、独立部署、易扩展等好处的同时，同时带来对服务发现、负 载均衡、熔断等能力前所未有的诉求。 • 第一阶段为dubbo、SpringCloud侵入式开发框架，语言强相关。 • 非侵入服务网格最早为2016年Linkerd。 • 2017年，Goole、IBM、Lyft发布Istio。Istio目前为服务网格的事实标准，并且是2019年Github增长最快的TOP /envoy.service.secret.v3.SecretDiscoveryService/StreamSecrets 监听端口，连接入口 L4过滤，请求入口 L7过滤 路由策略 上游集群 目标主机策略，请求出口 Copyright © Huawei Technologies Co., Ltd. All rights reserved. Page 10 Envoy常用部署方式 tcp_proxy L4网络过滤器 基于L4层1对1上下游网络连接代理 envoy.filters.network.wasm L4网络过滤器 基于WASM（WebAssembly）技术，支持沙箱、热升级、 跨语言的扩展机制，处理L4层新连接、数据收发。 envoy.filters.network.dubbo_pro xy L4网络过滤器 解析dubbo RPC协议并提取请求中方法、接口、 metadata等信息，并根据元数据进行路由选择。

过信任度不同的网络进行传输。 策略强制 - 对服务间的交互应用机构策略，确保实施访问策略，并在用户间分配资源。通过配置 网格就可以对策略进行更改，而不需要修改应用程序代码。 遥测 - 了解服务间的依赖关系以及服务间的网络数据流，从而可以快速发现问题。 1.2. SERVICE MESH 发行注记 1.2.1. 使开源包含更多 红帽承诺替换我们的代码、文档和网页属性中存在问题的语言。我们从这四个术语开始： Mesh 2.1.1 的新功能 的新功能 此 Red Hat OpenShift Service Mesh 发行版本解决了 CVE 报告的安全漏洞问题以及程序错误。 此发行版本还添加了禁用自动创建网络策略的功能。 1.2.2.11.1. Red Hat OpenShift Service Mesh 2.1.1 版中包含的组件版本 OpenShift Container Platform 4.8 Service 2. 禁用网络策略 Red Hat OpenShift Service Mesh 自动在 Service Mesh control plane 和应用程序命名空间中创建和管理 多个 NetworkPolicies 资源。这是为了确保应用程序和 control plane 可以相互通信。 如果要禁用自动创建和管理 NetworkPolicies 资源，例如为了强制执行公司安全策略，您可以编辑

理解镜像构建 2.2. 了解构建配置 2.3. 创建构建输入 2.4. 管理构建输出 2.5. 使用构建策略 2.6. 使用 BUILDAH 自定义镜像构建 2.7. 执行和配置基本构建 2.8. 触发和修改构建 2.9. 执行高级构建 2.10. 在构建中使用红帽订阅 2.11. 通过策略保护构建 2.12. 构建配置资源 2.13. 构建故障排除 2.14. 为构建设置其他可信证书颁发机构 文件中定义构建过程。此定义包括构建触发器、输入参数和源代码等属性。部 署之后，BuildConfig 对象通常构建可运行的镜像并将其推送到容器镜像 registry。 OpenShift 构建为构建策略提供以下可扩展的支持： Docker 构建 Source-to-image（S2I）构建 Custom 构建 如需更多信息，请参阅了解镜像构建 1.2. OPENSHIFT PIPELINES 体是指定资源限值，如 CPU 使用 量、内存使用量，以及构建或 Pod 执行时间。 OpenShift Container Platform 构建系统提供对构建策略的可扩展支持，它们基于构建 API 中指定的可选 择类型。可用的构建策略主要有三种： Docker 构建 Source-to-image（S2I）构建 Custom 构建 默认情况下，支持 docker 构建和 S2I 构建。