2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 分片化 数据一致 性 可观测 治理能力 弹性化 2018年PostgreSQL中国技术大会 数据分片

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 数据分片 App2 DB App1 App3 App2 DB1 DB2

. . . . 76 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 加密算法解析 . . . . . . . . 285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？ . . . 285 7.7 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自增主键？ . . 286 vii 7.8 指 定 了 泛 型 为 Long 的 SingleKeyTableShardingAlgorithm， 遇 到 ClassCastException: 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并 非实现一个全新的关系型数据库。关系型数据库当今依然

. 259 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.4.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 7.4.4 加密算法解析 . . . . JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere 简介 2 Apache ShardingSphere document, v5.0.0 1.1.3 ShardingSphere-Sidecar（TODO） 定位为 Kubernetes 的云原生数据库代理，以 Sidecar 的形式代理所有对数据库的访问。通过无中心、零 侵入的方案提供与数据库交互的啮合层，即 Database Mesh，又可称数据库网格。 Database Mesh

. 261 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 7.5.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.5.4 加密算法解析 . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.17 [数据加密] JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere

. 256 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 7.5.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.5.4 加密算法解析 . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.17 [数据加密] JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere

. 272 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 7.5.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 7.5.4 加密算法解析 . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.17 [数据加密] JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere

. 367 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 7.7.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 7.7.4 加密算法解析 . . . . . . . . . . . . . . . . . . . . . . . . . 425 xiii 8.3.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425 8.4 数据加密 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现 JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景，ShardingSphere

2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . dis‐ abled 否 是否禁用此分片项 servers 节点 作业服务器信息，子节点是作业服务器的 IP 地址。可在 IP 地址节点写入 DISABLED 表示该服务器禁用。 在新的云原生架构下，servers 节点大幅弱化，仅包含控制服务器是否可以禁用这一功能。为了更加纯粹 的实现作业核心，servers 功能未来可能删除，控制服务器是否禁用的能力应该下放至自动化部署系统。 5 ShardingSphere ElasticJob document 6.1 使用手册 本章节将介绍 ElasticJob 相关使用。更多使用细节请参见使用示例。 6.1.1 作业 API ElasticJob 支持原生 Java、Spring Boot Starter 和 Spring 自定义命名空间 3 种使用方式。本章节将详细介 绍他们的使用方式。 作业开发 ElasticJob 的作业分类基于 class

12.7.2 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496 12.7.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 12.7.4 加密算法解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 13.4.9 分片 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自 增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510 13.5 DistSQL ShardingSphere‐Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支 持。 1.2 产品功能 1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现 JDBC 规范的数 据库。 1 Apache ShardingSphere