云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维  一套房源能否成交同很多因素相关 一套房源能否成交同很多因素相关 客源 17维 性价比 9维 业主 14维 市场 12维 经纪人 9维 基本属性 29维 成交 2019 KE.COM ALL COPYRIGHTS RESERVED 18 时序特征提取 0 5 10 15 20 25 30 20181001 20181002 20181003 20181004 20181005 20181006 20181007 20181008 最近14天浏览量均值 • 最近7天浏览量均值 … 时序特征 21维 提取函数 8个 提取特征 168维 2019 KE.COM ALL COPYRIGHTS RESERVED 19 v1.0 - 小结 存在的问题 新上房源与库存房源在行为特征上 差异巨大 引入新上房源，会严重干扰模型  很难兼容新上房源  时序数据特征爆炸 时序特征进行特征提取，得到的特征 数量庞大 随着迭代的进行，新加入特征边际效

遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添加的（ model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 Sequential 顺序模型如下所示： from keras.models import Sequential model = Sequential() 可以简单地使用 .add() 来堆叠模型： (如果你计划在 GPU 上运行 Keras，建议安装)。 • HDF5 和 h5py (如果你需要将 Keras 模型保存到磁盘，则需要这些)。 • graphviz 和 pydot (用于可视化工具绘制模型图)。 然后你就可以安装 Keras 本身了。有两种方法安装 Keras： • 使用 PyPI 安装 Keras (推荐)： sudo pip install keras 如果你使用 virtualenv

），因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1，其余位置都是0的向量（上 图编号2所示）。 and在词典里排第367，所以?<3>就是第367行是1 ，其余值都是0的向量（上图编号3所示）。 因为a是字典第一个单词，?<7>对应a，那么这个 向量的第一个位置为1，其余位置都是0的向量（上 图编号4所示）。 Unknow Word的伪单词，用作为标记。 如果你的词典大小是10 000的话，那么这里的每个向量都是10,000维的。 6 循环神经网络解决的问题  卷积神经网络或全连接网络的局限性  同一层节点之间无关联，从而导致获取时序规则方面功 能不足  循环神经网络可以解决时序问题  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01

board
控制⾯板
3
个组件。
API
⽹关作为微服务架构中重要组件，是流量的核⼼出⼊⼝，⽤于统⼀处理和业务相关的请求，可有 效解决海量请求、恶意访问等问题，以保障业务安全性与稳定性。 图
1-1
API7
架构图
上图为
API7
产品中控制平⾯（简称
CP）与数据平⾯（简称
DP）的架构⽰意图，并包含了3个部分：
API
⽹关
1. ⽤于承载并处理业务流量，管理员在配置 增加⼀条路由，并配置限速插件，当触发到限速阈值后，⽹关将会暂时阻⽌后续匹配到该路由的请求 进⼊。借助
ETCD
的
Watch
机制，当管理员在控制⾯板更新配置后，API7
将在毫秒级别内通知到各个 ⽹关节点。 其它 3. 从图
1-1
可⻅，API7
采⽤了数据平⾯与控制平⾯分离的架构⽅式，通过配置中⼼接收、下发配置，使 得数据平⾯不会受到控制平⾯影响。配置中⼼默认为
ETCD，但也⽀持
Consul、Nacos、Eureka
等， eka
等， 可根据您的实际情况进⾏选择。此外，企业⽤⼾只需关注业务本⾝，与业务⽆关的⼤部分功能交给
API7
内置插件即可实现，如⾝份验证、性能分析等。
1.2
技术亮点
图
1-2
API7
技术亮点
云原⽣ 1. API7
是⼀个云原⽣⽹关，与平台⽆关，没有供应商锁定的⻛险。它⽀持裸⾦属、虚拟机、 Kubernetes、OpenShift、ARM64
等。此外，API7

Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验

为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 都是用什么来完成这系列的任务 的呢？ 5 1.Transformer介绍 和卷积，因而这些模型在质量上更优，同时更易于并 行化，并且需要的训练时间明显更少。 ◼ Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的 顺序计算） 图：Transformer模型架构 1.Transformer介绍 12 Transformer Transformer —— 大力出奇迹的起点 • 在Transformer提出之后，大模型的基础模 在每个编码器中的每个子层（自注意力、前馈网络）的周围都有一个残差连 接，并且都跟随着一个“层-归一化”步骤。 如果我们去可视化这些向量以及这个和自注意力相 关联的层-归一化操作，那么看起来就像下面这张 图描述一样： 37 2.Transformer的工作流程 归一化： 连接：基本的残差 连接方式 38 2.Transformer的工作流程 编码器通过处理输入序列开启 工作。顶端编码器的输出之后

，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 深度学习 图 1.1 人工智能、机器学习、神经网络和深度学习 1.1.2 机器学习 机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习

query。 7. 选择 Run Queries 来运行您已创建的查询。图表中会直观呈现查询的指标。如果查询无效，则 UI 会显示错误消息。 注意 注意 如果查询对大量数据进行运算，这可能会在绘制时序图时造成浏览器超时或过载。 要避免这种情况，请选择 Hide graph 并且仅使用指标表来校准查询。然后，在找 到可行的查询后，启用图表来绘制图形。 8. 可选：页面 URL 现在包含您运行的查询 Prometheus 与集群和节点性能相关的 USE 方法仪表板 图 图 10.1. Administrator 视 视角中的 角中的仪 仪表板示例 表板示例 使用 Developer 视角访问为所选项目提供以下应用程序指标的 Kubernetes 计算资源仪表板： CPU 用量 内存用量 带宽信息 数据包速率信息 图 图 10.2. Developer 视 视角中的 角中的仪 仪表板示例 仪表板示例 表板示例 第 第 10 章 章 查 查看 看监 监控 控仪 仪表板 表板 97 图 图 10.2. Developer 视 视角中的 角中的仪 仪表板示例 表板示例 注意 注意 在 Developer 视角中，您一次只能查看一个项目的仪表板。 10.1. 以集群管理员身份查看监控仪表板 在 Administrator 视角中，您可以查看与 OpenShift Container Platform

需要指定control-plane-endpoint地址 为规划的vip，前端的vip可以使用任何负载工具软件，反向代理到后端的每台 master结点的6443/tcp端口即可。 高可用集群拓扑图： ★先配置HA高可用的反向代理 本例中vip为10.99.1.54（三台master ip为10.99.1.51~53）使用haproxy做反向代理 frontend k8s_api_tcp_6443 #可见k8s服务器上只有2个网桥，一个名为cni0，是k8s的pod网络用的，本k8s服 务器上的所有pod的网卡都连通到这个网桥里，即同一台k8s服务器上的所有pod 容器处于同一个二层广播域 ★k8s服务器上的各网卡关系图 [root@k8s-node01 ~]# ip route #查看k8s node结点上的路由表 default via 10.99.1.1 dev com -- username=admin --password=xx ★第15章、prometheus监控系统 ★Prometheus简介 Prometheus是一款基于时序数据库的开源监控告警系统，Prometheus的基本原 理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的 HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常