Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 分片化 数据一致 性 可观测 治理能力 弹性化 2018年PostgreSQL中国技术大会

ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 数据分片 App2 DB App1 App3 App2 DB1

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 置 文 件 标 准 D i s t S Q L 耦合 耦合较大，存在功能依赖 相 互 隔 离 ， 互 无 感 知 组合方式 固 定 的 组 合 方 式 ： 以 数 据 分 片 为 基 础 ， 叠 加 读 写 分 离 和 数 据 加 密 等 功 能 自 由 的 组 合 方 式 ： 数 据 分 片 、 读 写 分 离 和 数 据 加 密 等 功 能 自 由 组 合 使 用 产 品 架 构 部

中间件研发工程师 Apache ShardingSphere Contributor 目前专注于 Shadow DB 及全链路压测相关的设计和研发 Apache ShardingSphere 发展和现状 Apache ShardingSphere 架构设计 Apache ShardingSphere Roadmap 1.x (2016) Sharding-JDBC 2.x (2017) 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow DB API rules: - !SHADOW SHADOW column: shadowMappings: ds: shadow_ds Shadow DB 重构的原因 5.0.0 Shadow DB API rules: - !SHADOW enable: true dataSources: : sourceDataSourceName: ds shadowDataSourceName:

联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org 2 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 1 Apache ShardingSphere事务体系 2 Apache ServiceComb-saga 3 分布式事务解决方案的合作与探索 com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb org 分布式事务的需求体现 垂直拆分 水平拆分 混合拆分 本地事务 分布式事务 单机部署 10 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务概述 金融 CAP原则 Consistency 2PC事务 XA Availability BASE事务 saga TCC 基于可靠消息 的事务 Partition

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . .

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 8.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . 26 稳定支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 实验性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 不支持 . . . . . .