2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2 2018年PostgreSQL中国技术大会 分布式事务 2018年PostgreSQL中国技术大会 分布式事务 两（三）阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 2018年PostgreSQL中国技术大会 Saga Apache ServiceComb

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle 执行过程透明化 分布式事务 分布式事务 两（三）阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere

285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？ . . . 285 7.7 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自增主键？ . . 286 vii 7.8 指 定 了 泛 型 为 Long 的 SingleKeyTableShardingAlgorithm， 遇 到 ClassCastException: 290 7.20 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐ jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . . . . . . . . . . . . . . 291 7.21 在使用 sharing‐proxy 的时候，如何动态在 ShardingSphere‐UI 水平 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并 非实现一个全新的关系型数据库。关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未 来也难于撼动，我们更加注重在原有基础上提供增量，而非颠覆。 Apache

1. [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . 288 viii 7.7.2 2. [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document, v5.0.0

2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . 够透明化的与业务应用系统相结合。它能够 方便的与 Spring 、Dubbo 等 Java 框架配合使用，在作业中可自由使用 Spring 注入的 Bean，如数据源连 接池、Dubbo 远程服务等，更加方便的贴合业务开发。 5.2 弹性调度 弹性调度是 ElasticJob 最重要的功能，也是这款产品名称的由来。它是一款能够让任务通过分片进行水 平扩展的任务处理系统。 5.2.1 分片 作业服务器信息，子节点是作业服务器的 IP 地址。可在 IP 地址节点写入 DISABLED 表示该服务器禁用。 在新的云原生架构下，servers 节点大幅弱化，仅包含控制服务器是否可以禁用这一功能。为了更加纯粹 的实现作业核心，servers 功能未来可能删除，控制服务器是否禁用的能力应该下放至自动化部署系统。 5.2. 弹性调度 11 Apache ShardingSphere ElasticJob document

8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . 304 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.17 [数据加密] 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere

8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . 300 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.17 [数据加密] 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere

8.1 [JDBC] 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . 316 7.8.2 [JDBC] 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.17 [数据加密] 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 1.1 简介 Apache ShardingSphere

. 181 相关概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 对系统的影响 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 使用限制 . . . . . . 8.1.1 JDBC 为什么配置了某个数据连接池的 spring‐boot‐starter（比如 druid）和 shardingsphere‐jdbc‐spring‐boot‐starter 时，系统启动会报错？ . . . . . . . . . 421 8.1.2 JDBC 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425 xiii 8.3.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425 8.4 数据加密

. 149 相关概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 对系统的影响 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 13.4.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 13.5 DistSQL . . . . . . . . . . . 515 xiii 1 什么是 ShardingSphere 1.1 介绍 Apache ShardingSphere 是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并 通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。 Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如