从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、对于替换数据库技术的公司，代价较大，放弃多年积累； 1）引入框架，研发人员 是一套开源的分布式数据库中间件解决方案组成的生 态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3：Sharding-Proxy中间件（3.x+） Level 2：Sharding-JDBC框架（1

图 17 绕过 Istio JWT 认证访问结果........................................................45 图 18 云原生应用保护能力建设架构图....................................................47 图 19 制品安全能力建设............................. 明确云原生和云原生安全。 1.1.1 云原生 2015 年，Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置 性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务的规模化复制部署。

⾼效的产品交付模式； B. ⾼效的产品定制开发模式； 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 14% 8% 14% 64% SpringCloud Dubbo 其他微服务架构 传统架构 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 微服务是⽬前⼤多数B端业务的⾸选架构 组件复⽤ 按需运维 灵活定制 客户/项⽬要求 运维困难 交付困难 云原⽣应⽤定义 L1: 基础云原⽣应⽤ （1）容器化运⾏ （2）计算与数据分离 （3）满⾜12 因素 （4）可伸缩性 （5）可配置性 （6）基础可观测性 L2: 具备远程交付能⼒ （1）完全的模版化定义 （2）模版⾃动实例化 （3）数据⾃动初始化 （4）业务⾼容错性 （5）业务⾼可⽤性 L3: 具备持续升级能⼒ （1）⾼容错化数据升级 （2）⾼容错化版本升级 （3）版本可回滚 （2）发布业务应⽤模型 （提交测试） 版本管理 ⽅案组装 组件共享 （3）获取测试的业务模版版本 测试环境管理 业务级测试 应⽤云原⽣性测试 交付能⼒测试 （4）标记可交付版本 （5）演示环境交付 （6）客户环境持续交付 完整业务架构 A⽤户定制⽅案 B⽤户定制⽅案 研发平台 交付平台 测试平台 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps 应⽤组装和研发 应⽤模型定义实践-开发者

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 互联网业务、万物互联业务等等造就了海量数据，而海量数据应该也必须能够提炼出价值为业务反向赋能，形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS) 业务系统连接一组人，或者说企业业务实际能力提供者，通过双中台可 以将最上层业务产品诉求直接下沉到能力端，比如我们需要快速搭建一 个电商下单APP，只需要利用中台提供的能力要素，并在APP端组织业务 流程或者产品流程，下单后，商品自动送到用户手中，而无需企业打通 高级能力-混合云（资源角度） 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 弹性 可弹性无限拓展 弹性工作负载 公有云 ETCD ETCD Image Image Data X • 企业可以在业务高峰时使用混合云补充 算力，并在低谷时从公有云撤回算力，

Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、 切 问 题 ， 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 ， 而 很 多 入 侵 风 险 是 不 可 预 知 的 ！ 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段，修复成本就将 提升十倍，所以将安全自动化检查和问题发 现从运行态左移到研发态，将大大提高效率 现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！

• WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、 Redis、Kafka etc），生态较好 引入 GoLang 扩展后 开销呈线性增长；CGO 中 增加 Go 自身计算逻辑时,其 Go 的计算消耗也呈线性增 长 CGO 开销调研 MoE 方案介绍 MoE 整体架构 MoE 功能职责 MoE TraceID 事例分析 MoE 方案优势 MoE 方案介绍 — 整体架构 GoLang L7 extension filter shim manager Stream filter Router X-protocol

的核心研发，快猫星云联合创始人，当前在创业，为客 户提供稳定性保障相关的产品 个人主页：https://ulricqin.github.io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 decar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 •新一代监控系统更加关注应用侧的监控 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注

云原生学院 第 22 期 云原生产品与架构系列：第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日（周三）晚8点-9 点 高磊 主 办 方 ： 互 动 平 台 ： 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展

持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 数据均匀分布 ⽆re-balance Pulsar： 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper Apache

WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MOE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能 力，改造成本低；研发效率高， 灵活性高；GoLang 支持的库比 较多（Consul、Redis、Kafka etc），生态较好 引入 GoLang 扩展后 us，另 外 CGO 调用开销呈线 性增长；CGO 中增加 Go 自身计算逻辑时, 其 Go 的计算消耗也 呈线性增长 CGO 开销调研 MOE 解决方案及实践介绍 MOE 方案介绍 — 整体架构 proxy_golang API spec proxy_golang_request • params headers body trailers • returns C.Response{