2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache Zookeeper ETCD … 2018年PostgreSQL中国技术大会 APM SkyWalking：基于分布式追踪的性能监控系统。项目的核心目标是针对微服务、Cloud Native、容 器化架构，并提供应用性能监控和分布式调用链追踪能力。 SkyWalking已于2017年12月8日，进入Apache孵化器。 2018年PostgreSQL中国技术大会 拓扑图 2018年PostgreSQL中国技术大会

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢 配置统一管理 数据库从库禁用 应用实例熔断 业务代码 ShardingSphere 业务代码 ShardingSphere

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 务质量分析）等。 可插拔 可插拔是 ShardingSphere 的设计 理念，架构内核是完全面向顶层接 口设计的，内核模块完全不感知具 体功能的存在。它为分库分表、读 写分离等每一个功能插件赋予单独 部署和协同配合的能力。 整 体 架 构 内 核 架 构 l ShardingSphere 可插拔架构提供了 数十个基于 SPI 的扩展点，开发者可 以十分方便的对功能进行定制化扩展；

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . . . 15 分布式主键 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 强制分片路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.5 内核剖析 . . . . . . . 22 执行器优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 SQL 路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 SQL 改写 . . . .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . . SQL 解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.2 SQL 路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.3 SQL 改写 .

ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . . SQL 解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.2 SQL 路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.3 SQL 改写 .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2 运行模式 . . . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .