1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 2.使用这些高质量的嵌入来训练语言模型（进行下一个单词 预测）。 19 3.Word2Vec 负采样 并不是每次迭代都训练全部10,000个，我们只训练其中 的5个，我们要训练对应真正目标词那一个分类器，再训练 4个随机选取的负样本，这就是

上开发实现的；Red Hat 则从 RHEL 6.5 开始对 Docker 进行支持；Google 也在其 PaaS 产品中广泛应用 Docker。 Docker 使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 AUFS 类的 Union FS 等技术，对进程进行封装隔离，属于 操作 系统层面的虚拟化技术。由于隔离的进程独 内容，构建新的镜像。 关于镜像构建，将会在后续相关章节中做进一步的讲解。 镜像 20 Docker 容器 镜像（ Image ）和容器（ Container ）的关系，就像是面向对象程序设计中的 类 和 实例 一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删 除、暂停等。 容器的实质是进程，但与直接在宿主执行的进程不同，容器进程运行于属于自己的独立的 上有非常多的高质量的官方镜像，有可以直接拿来使用的服务类的镜像，如 nginx 、 redis 、 mongo 、 mysql 、 httpd 、 php 、 tomcat 等；也有一些方便开发、构 建、运行各种语言应用的镜像，如 node 、 openjdk 、 python 、 ruby 、 golang 等。可以 在其中寻找一个最符合我们最终目标的镜像为基础镜像进行定制。

示例深度学习架构： dual RNN ( dual LSTM) • 利用用户反馈数据来补充训练样本 正在进行的探索 17 聊天机器人(chatbot) • 聊天机器人是一种聊天代理，它通过电脑程序设计与人类通过音频或文本进行 智力对话。 --维基百科 • 未来，聊天应用将被看作是新的浏览器，而机器人程序将成为新的网站。这就 是互联网的新开始。--Ted Livingston, CEO of KiK • 输入的文本可以根据词性、时态等被进一步标签分割。 • 语境信息可以进一步通过word2vec建模。 • 概率语言模型可以用于词汇赋权重。 • 深度神经元网络可以进一步提升自然语言处理的效果 • 电商领域内的各种专业字典（如品牌，产品，型号等）可以协助识别各种实体 自然语言处理 （Natural Language Processing） 21 命名实体识别 命名识别模块 人名

service 服务在一组 pod 上公开正在运行的应用程序。 Source-to-Image (S2I) 镜 镜像 像 基于 OpenShift Container Platform 中应用源代码的编程语言创建的镜像，以部署应用程序。 storage OpenShift Container Platform 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container 对象可以包含该类型的应用程序的副本集。借助副本 集，pod 可以跨越多个节点运行，确保即使在 worker 中断时该应用程序也始终可用。 需要在每个节点上运行。 某些类型的 Kubernetes 应用程序设计为在集群中的每个 master 节点或 worker 节点上运行。例如，DNS 和监控应用程序需要在每个节点上持续运行。您可以将这类应用 程序作为守护进程集运行。您还可以根据节点标签在节点的子集上运行守护进程。

加入PHP API层 PHP API层成为后续多语言服务治理的关键挑战5/24 微服务体系演进 MOA 1.0微服务体系演进历程 自研服务框架产品MOA（Momo service Oriented Architecture）于2013年初上线推广 微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy / 并行调用Proxy 服务治理 • 服务治理平台、配置中心 • 监控、日志、分布式跟踪 • 异步调用、压测7/24 流量代理机制 PHP服务发布入流量代理 PHP并行调用出流量代理 16年起开始使用流量代理机制解决跨语言服务治理问题8/24 现阶段的关键需求 技术储备与原则类因素 自研数据平面与 控制平面方案 使存量服务接入Mesh 方案 对接大量内部系统 关键收益均由数据平面产生 非完善的控制平面功能 技术体系内不引入Go语言 最成熟的服务端语言为Java 使用Java开发 数据平面Agent14/24 整体架构 数据平面 • 现有协议的流量转发 • Agent平滑升级机制 控制平面 • 轻量的Pilot Proxy

Docker —— 从入门到实践 8 Docker 简介 Docker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。 Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 —— 从入门到实践 126 Etcd 项目 etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值（key- value）数据库，基于 Go 语言实现。我们知道，在分布式系统中，各种服务的配置信息的管理分享，服务 的发现是一个很基本同时也是很重要的问题。CoreOS 项目就希望基于 etcd 来解决这一问题。 etcd 目前在 github 可以在多个节点上启动多个实例，并添加它们为一个集群。同一个集群中的 etcd 实例将会保持彼此信息的一致性。 什么是 etcd Docker —— 从入门到实践 127 简介 etcd 基于 Go 语言实现，因此，用户可以从 项目主页 下载源代码自行编译，也可以下载编译好的二进制文 件，甚至直接使用制作好的 Docker 镜像文件来体验。 编译好的二进制文件都在 github.com/coreos/etcd/releases

Service Registry Service Config Center 服务发现 服务注册 服务元数据下发 OSP client 服务路由 网络传输 服务元数据上报缺点 • 语言单一 • 升级困难 • 复杂代码嵌入对客户端进程影响大服务化体系2.0 - Service Mesh雏形 • 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 网络传输 OSP client多语言客户端接入 • HTTP & TCP • Local & Remote • 根据接入对象的不同，制定 不同的接入策略，达到 • 接入简单 • 保证性能 • 节省资源 Java App Local Proxy OSP Server Remote Proxy Cluster Thrift over TCP PHP App C/C++/Node C/C++/Node JS App Thrift over TCP Thrift over TCP JSON over HTTP JSON over HTTP多语言服务端接入 • Registry Agent • sidecar • 注册代理 • 健康检查 • 服务端受限于Proxy支持的协 议（目前只支持HTTP 1.1） Local Proxy Web Server Service

Container Platform 3 提供了一组 编程语言 和 数据库，以及相关的信息和教程，供开发人员 参考来快速开始进行应用程序开发。Quickstart 模板提供了编程语言支持，它利用 构建器（builder）镜 像。 语 语言 言 实 实施及指南 施及指南 Ruby Rails Python Django Node.js Node.js PHP CakePHP Perl Dancer Java 登录到 GitHub，访问 Ruby 示例 页面。 注意 注意 本节介绍 Ruby 示例，但您可以使用 OpenShift Container Platform GitHub 项目 中提供的任何语言示例进行操作。 2. Fork 仓库。 您会被重新指向您的新 fork。 3. 复制 fork 的克隆 URL。 4. 将存储库克隆到您的本地机器。 4.4. 创建一个项目 要创建应用程序，您必须首先创建一个新项目，然后选择 Container Platform 3 提供了一组 编程语言 和 数据库，以及相关的信息和教程，供开发人员 参考来快速开始进行应用程序开发。Quickstart 模板提供了编程语言支持，它利用 构建器（builder）镜 像。 语 语言 言 实 实施及指南 施及指南 Ruby Rails Python Django Node.js Node.js PHP CakePHP Perl Dancer Java

对象来部署新镜像，以及为运行您的镜像的部署提供负载均衡访问的服 务。 OpenShift Container Platform 会自动检测要使用管道、源或 docker 构建策略，如果进行源构建，则还检 测适当的语言构建器镜像。 3.3.1.1. Local 从本地目录中的 Git 存储库创建应用程序： 注意 注意 如果使用本地 Git 存储库，该存储库必须具有一个名为 origin 的远程源，指向可由 存储库中可用。对于所有 Source 构建，您必须 使用 git remote -v。 3.3.1.4. 语 语言 言检测 检测 如果您使用源构建策略, new-app 会尝试根据存储库根目录或指定上下文目录中是否存在特定文件来确定 要使用的语言构建器： 表 3.1. new-app检测到的语言 语 语言 言 文件 文件 dotnet project.json、*.csproj jee pom.xml json perl cpanfile、index.pl php composer.json、index.php python requirements.txt、setup.py ruby Gemfile、Rakefile、config.ru scala build.sbt golang Godeps、main.go 检测了语言后，new-app 会在 OpenShift Container

Catalog → All Services。此时会显示 Developer Catalog 中所有可用服务的列表。 2. 在 All Services 下，选择 Devfiles 来浏览支持特定语言或框架的 devfile。另外，您可以使用 keyword 过滤器使用其名称、标签或描述搜索特定 devfile。 3. 点击您要用来创建应用程序的 devfile。devfile 标题显示 devfile 对象来部署新镜像，以及为运行您的镜像的部署提供负载均衡访问的服 务。 OpenShift Container Platform 会自动检测要使用管道、源或 docker 构建策略，如果进行源构建，则还检 测适当的语言构建器镜像。 3.3.1.1. Local 从本地目录中的 Git 存储库创建应用程序： 注意 注意 如果使用本地 Git 存储库，该存储库必须具有一个名为 origin 的远程源，指向可由 Source 构建，您必须 使用 git remote -v。 3.3.1.4. 语 语言 言检测 检测 如果您使用源构建策略, new-app 会尝试根据存储库根目录或指定上下文目录中是否存在特定文件来确定 要使用的语言构建器： 表 表 3.1. new-app检测 检测到的 到的语 语言 言 语 语言 言 文件 文件 dotnet project.json、*.csproj jee pom