ShardingSphere 高可用功能详解 & 实操演练 赵锦超 2022.08.06 01 赵锦超 Apache ShardingSphere Committer SphereEx 研发工程师 o 从事过电商、金融行业，热爱开源 o 目前专注于 Apache ShardingSphere 高可用 & 分布式治理的相关研发工作 02 Apache ShardingSphere 高可用介绍 Apache ShardingSphere 高可用源码解析 Apache ShardingSphere HA & MySQL MGR 实战演练 目录 01 03 Apache ShardingSphere 高可用介绍 ShardingSphere-Proxy 高可用 Apache ShardingSphere 高可用介绍 Apache ShardingSphere 本身不提供数据库高可用的能力，它通过第三方提供的高可用方案感知 方提供的高可用方案感知 数据库主从关系的切换。Apache ShardingSphere 提供数据库发现的能力，自动感知数据库主从 关系，并修正计算节点对数据库的连接。 目前支持的高可用方案 : • MySQL MGR 单主模式 • MySQL 主从复制模式 • openGauss 主从复制模式。 Apache ShardingSphere 高可用介绍 Apache ShardingSphere

17 3.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据实时分析 OLAP 场景 . . . . . 3.3.7 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.4 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.4.1 35 3.4.6 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 动态读写分离 . . . . .

iii 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.6 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.6.1 53 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . 6.8.2 ReplicaLoadBalanceAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 6.9 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 6.9

iii 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.6 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.6.1 53 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 动态读写分离 . . . . . 6.8.2 ReplicaLoadBalanceAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 6.9 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 6.9

53 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.6 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.6.1 54 4.6.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 高可用类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 动态读写分离 . . . . . 6.8.2 ReplicaLoadBalanceAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.9 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 6.9

Shardi ngSphere-Proxy Sharding Sphere-Sidecar 数据库 任意 M ySQL/PostgreSQL M ySQL/PostgreSQL 连接消耗数 高 低 高 异构语言 仅 Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere document, v5.0.0 1.3 线路规划 1.3. 线路规划 6 2 快速入门 本章节以尽量短的时间，为使用者提供最简单的 ShardingSphereDataSourceFactory 工 厂 和 规 则 配 置 对 象 获 取 ShardingSphereDataSource。该对象实现自 JDBC 的标准 DataSource 接口，可用于原生 JDBC 开发，或使用 JPA, MyBatis 等 ORM 类库。 DataSource dataSource = ShardingSphereDataSourceFactory.

Shardi ngSphere-Proxy Sharding Sphere-Sidecar 数据库 任意 M ySQL/PostgreSQL M ySQL/PostgreSQL 连接消耗数 高 低 高 异构语言 仅 Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用 无中心化架构， ShardingSphereDataSourceFactory 工 厂 和 规 则 配 置 对 象 获 取 ShardingSphereDataSource。该对象实现自 JDBC 的标准 DataSource 接口，可用于原生 JDBC 开发，或使用 JPA, MyBatis 等 ORM 类库。 DataSource dataSource = ShardingSphereDataSourceFactory. 传统的将数据集中存储至单一数据节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足 互联网的海量数据场景。 从性能方面来说，由于关系型数据库大多采用 B+ 树类型的索引，在数据量超过阈值的情况下，索引深度 的增加也将使得磁盘访问的 IO 次数增加，进而导致查询性能的下降；同时，高并发访问请求也使得集中 式数据库成为系统的最大瓶颈。 从可用性的方面来讲，服务化的无状态型，能够达到较小成本的随意扩容，这必然导致系统的最终压力

. 8 5.2.2 资源最大限度利用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5.2.3 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5.2.4 实现原理 . . 于面向业务编码设计；同时，它也能够解放运维工程师，使他们不必再担心任务的可用性和相关管理需 求，只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob 定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务。 2 2 功能列表 • 弹性调度 – 支持任务在分布式场景下的分片和高可用 – 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 1,2,3,4; 服务器 B = 5,6,7,8,9。在不丢失分片 项的情况下，最大限度的利用现有资源提高吞吐量。 5.2.3 高可用 当作业服务器在运行中宕机时，注册中心同样会通过临时节点感知，并将在下次运行时将分片转移至仍 存活的服务器，以达到作业高可用的效果。本次由于服务器宕机而未执行完的作业，则可以通过失效转 移的方式继续执行。如下图所示。 5.2. 弹性调度 9 Apache

21 8.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . Apache ShardingSphere document ShardingSphere-JDBC ShardingSphere-Proxy 数据库 任意 MySQL/PostgreSQL 连接消耗数 高 低 异构语言 仅 Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.2 ShardingSphere-Proxy 独立部署 ShardingSphere‐Proxy Apache ShardingSphere document ShardingSphere-JDBC ShardingSphere-Proxy 数据库 任意 MySQL/PostgreSQL 连接消耗数 高 低 异构语言 仅 Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.3 混合部署架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于

21 8.1.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . Apache ShardingSphere document ShardingSphere-JDBC ShardingSphere-Proxy 数据库 任意 MySQL/PostgreSQL 连接消耗数 高 低 异构语言 仅 Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.2 ShardingSphere-Proxy 独立部署 ShardingSphere‐Proxy Apache ShardingSphere document ShardingSphere-JDBC ShardingSphere-Proxy 数据库 任意 MySQL/PostgreSQL 连接消耗数 高 低 异构语言 仅 Java 任意 性能 损耗低 损耗略高 无中心化 是 否 静态入口 无 有 3.3 混合部署架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于