ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 数据库中间件使用的约束： 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy MyCAT DBLE KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性

云原生学院 第 22 期 云原生产品与架构系列：第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日（周三）晚8点-9 点 高磊 主 办 方 ： 互 动 平 台 ： 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展

Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值？ • 四大件在云原生场景下技术架构有什 么创新？ 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞 集成能力强，多模 态接口，兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点，使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 Application Application Application Read Read Write DB Server User Space File system Data Router&Cache

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 企业可以在业务高峰时使用混合云补充 算力，并在低谷时从公有云撤回算力， 经济性和业务支撑两不误 • 可以结合私有云和公有各自的优势，尤 其是数据安全方面，这是客户使用公有 云的最大顾虑 • 在云原生产生之前，混合云架构就存在 了，云原生的混合云，除了具备传统混 合云的属性和特性，也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础，同步镜像，为同一服务拓 是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure 云中立 高级能力-分布式云(交付角度） 分布式云（Distributed Cloud）就是分布在不同地理位置的云，是公有云“进化”的最新形态 中心Region 传统公有云 分布式云 覆盖热点区域的 边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规

图 17 绕过 Istio JWT 认证访问结果........................................................45 图 18 云原生应用保护能力建设架构图....................................................47 图 19 制品安全能力建设............................. 明确云原生和云原生安全。 1.1.1 云原生 2015 年，Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置

growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 Technology Co., Ltd. All rights reserved. 效果1：服务访问关系全自动展现 DeepFlow：零侵入、零重启，全景访问关系+全息知识 图谱，无论业务如何迭代，自动呈现实际应用架构。 开发语言、开发框架百花齐放，现有APM高度依赖代 码插桩的监控方式能满足业务高速迭代的需求吗？ simplify the growing complexity © 2021, YUNSHAN

⾼效的产品定制开发模式； 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 14% 8% 14% 64% SpringCloud Dubbo 其他微服务架构 传统架构 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 微服务是⽬前⼤多数B端业务的⾸选架构 组件复⽤ 按需运维 灵活定制 客户/项⽬要求 运维困难 交付困难 分布式难题 2B软件交付需求多样性 01 版本管理 ⽅案组装 组件共享 （3）获取测试的业务模版版本 测试环境管理 业务级测试 应⽤云原⽣性测试 交付能⼒测试 （4）标记可交付版本 （5）演示环境交付 （6）客户环境持续交付 完整业务架构 A⽤户定制⽅案 B⽤户定制⽅案 研发平台 交付平台 测试平台 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps 应⽤组装和研发 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps 应⽤模型运维实践-插件化运维能⼒ 04. 2B交付版本的DevOps 应⽤治理架构与业务架构解耦合 业务A 治理 SideCar 业务B 业务C （1）业务开发者定义业务架构 （2）运维/架构师定义业务治理架构 ⽹络治理模式 ⽇志收集模式 链路跟踪 访问⽇志记录 （3）业务不受治理架构的变化影响 治理 SideCar 治理 SideCar 可拔插的治理 应⽤模型运维实践-插件化运维能⼒

持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 数据均匀分布 ⽆re-balance Pulsar： 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper Apache

计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD Serverless 简介 什么是 Serverless ？ Serverless 个抽象 Message Queue (⽤ 1 种⽅式即 HTTP/GRPC 对接 10 个 MQ) = 5 种实现 OpenFunction 新⼀代开源函数计算平台 OpenFunction 架构图 ➤ core.openfunction.io Functions | Servings | Builders ➤ events.openfunction.io EventSources | 图语义的查询 性能 Nebula Graph! 如何发⾳：[ˈnebjələ]， 它有哪些特点？ Nebula Graph 介绍 了解更多 >>> ⽂档：Nebula 架构 官⽹：⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker

传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布 • 配置一致性检测 • 日志覆盖率 12 案例:如何管控整个日志数据流相关资源性能与容量？ 19 案例: 基于Kibana的交互式排障 交互式排障，下钻分析，对比分析，快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与Metricbeat构建分布式、全region覆盖、协议支撑丰富的内网拨测平台 21 案例: 使用ES原生ML能力提供排障效率 深挖日志价值，提高故障感知与异常分析能力 22 技术栈 技术选型 前端 TypeScript、Angular