云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性；

说说应用基本依赖的四大件：数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 四大件在云原生场景下带来什么客户 价值？ • 四大件在云原生场景下技术架构有什 么创新？ 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞 易用程度 封闭体系，集成各 类优秀能力较差 集成能力强，多模 态接口，兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点，使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read Write DB Server User

认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP 故障自动切库 DB大促预建联 密码定期修改 流量控 制 线程控 制 微服务生态 前端生态 Spring Sentinel 高可用生态 Dubbo Midway Switch 数据库生态 TDDL 服务鉴权 Pre-plan MSE（Nacos） 服务网格最佳实践 阿里服务网格（简称 ASM）是一个统一管理微服务应用流量、兼容Istio的托管式平台 ASM 中Istio通过标准 Nacos-Sync 大规模场景下推荐 小规模场景、非Java场景下推荐 Agent Agent 开源 Spring Cloud 默认不支持双注册，MSE 提供了无侵入的双注册方案，无需修改 代码，开发无需关注，支持平迁。 Nacos 生态 几乎支持所有主流语言 阿里微服务DNS最佳实践 多语言生态集成方案 生态仓库： https://github.com/nacos-group

台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容  支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？ 什么是云原生->为云而生 9 9 6 年 戴 尔 提 出 云 计 算 理 念 2006年亚马逊率先推出 了弹性计算云（EC2） 分水岭 云原生 Docker： 抽象云资源，使 得更容易使用 微服务： 加快业务迭代更新 从支持应用不同维度发展，最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 品和技术两方面来看，产品侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 价值成果转变的样本： • 支持全球最大容器集群、全球最大Mesh(ASM)集群，神龙架构和ACK

去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 合，形成一个新API • 声明API：需要生成代 码框架（任何语言）， 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户：消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划：向下兼容， 对比发布 • API文档：每一个API有 Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离：开发者关注应用本身，运维人员关注模块化运维 能力，让应用管理变得更轻松、应用交付变得更可控； • 平台无关与高可扩展：应用定义与平台层实现解耦，应用描述 支持任意扩展和跨环境实现； • 模块化应用运维特征：可以自由组合和支持模块化实现的运维 特征描述。 Components：在 OAM 中，“应用”是由多个概念共同组合而成。第一个概念是： 应用组件（Components），它是整个应用的重要组成部分。应用组件既可以包括 应用运行所依赖的服务：比如 MySQL 数据库，也包括应用服务本身：比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征，比如应用的水平扩展的策略和 Ingress

OwnerReference AliCloud OpenAPI AWS OpenAPI How to make it happen 张健川(聪言) 我需要一个MySQL数据库服务 MySQL 5.7版本 硬件规格4c8g 存储20G 交付不同客户依赖的数据库Provider不同 读写IOPS能力达到1W+ 面向用户友好的声明服务 Service Spec Component-oriented extension On-Premise OnCloud 云原生IaC方式定义服务 传统云上白屏化运维方式: 繁杂的手动操作，且无法快速复制 CNBaaS 可基于Cue语法，声明服务基础信息 以及组件扩展信息，支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求 需求自适配 需求自适配 On Premise On VPC eg. Kube DB • Chart Version选择 Terraform 通用服务schema定义 服务版本管理 面向组件Vendor Schema定义 组件注册 CNBaaS 统一服务目录 Helm CNBaaS Engine根据组件 支持的运行时动态调度 云资源生产 Lifecycle管理 张健川(聪言) CNBaaS Demo Contact us 王国东(骁奕) Email：guodong.wgd@alibaba-inc

技术调研，到产品孵化，历经重重困难，最终通过双 11 规模化验证。借力开源、反哺开 源，进行 Cloud Native 生态融合，在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布， 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift， kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便；支持的库（SDK）相对较 少 WASM Extension 跨语言语言支持 （C/C++/Rust）、隔离性、安 全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好，对 GoLang Runtime 还未 完全支持； 不能复用已有的 SDK，需要做网 络 IO 适配改造 External-Proc

这类 伪低代码产品，靠着模板走量批发的模式。客户买的是人工，不是技术 • 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年，拥有自己的 UI 体系、数据库体系和 中台体系，完全更改是 不现实的，低代码平台 要做的是与这么多技术 融合，帮助企业更好地 改进。 • 降本增效是最初级的成 果，如果能够深入企业 业务当中，低代码平台 可以带来的东西会更多。 将业务沉淀抽象化(比如 SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式，资源 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营，从而带来竞争压力。接受云原生和多云方法作为一种新常态，意味着企业可以避免云计算供应商锁定， 可以提供超过5个9的响应率 生也与传统云模式存在博弈关系(天然的正和博弈) 对客户、运营商来说，有利因素主要体现在解决资金紧张问题、降低投资风险，将一部分风险转嫁给厂商，通过与设备商绑定的利益 关系，能获得厂商更多更好的支持和全球经验；不利因素在于相对传统交易方式可能需支付更多交易成本，在业务发展良好的情况， 可能会有部分利益分给设备商。 对IT设备供应商、ISV集成商而言，有利因素主要体现在可能获得高于传统设备销售的

目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 提供以项目为单位的逻辑隔离，存储共享 不同角色具有不同的访问权限，可以与其它用户系统集成 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制：支持多种过滤器(镜像库、tag和标签）与多种触 发模式（手动，基于时间以及定时）且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上，比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor， 更多上游仓库的支持正在进行中（与复制共享 同样的仓库适配器） 注: 可有效解决Dockerhub 限速的问题 制品的高效分发-P2P预热 • 将所选镜像提前分发到(加热)P2P网络以便客户端拉取内容时从P2P网