Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 2016.08 Ø star突破1000 2018.02 Ø 京东数科加入 11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 分片化 数据一致 性 可观测 治理能力 弹性化 2018年PostgreSQL中国技术大会 数据分片 App2 DB App1 App3 App2 DB1 DB2 DB3 App1 App3

京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 2018.02 京东数科加入 2018 05 成立社区 2018.11 进入Apache孵化器 2018.08 star突破5000 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 4 弹性伸缩 数据分片 App2 DB App1 App3 App2 DB1 DB2 DB3 App1 App3 S App1 M App2

1.2.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.3 数据库治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 快速入门 5 2.1 ShardingSphere‐JDBC 62 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.4 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.4.1 背景 . 4.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.4.4 治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 导览 . . . . .

44 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.5 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.5.1 背景 . 5.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.5.4 治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 导览 . . . . . . . . 64 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.1.4 配置手册 . . . .

回退到历史版本也依然存在假死。 . . . . 92 11 博客 93 iv Apache ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解 决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅 需一次开发，即可随意部署。 ElasticJob 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 • 资源分配 – 在适合的时间将适合的资源分配给任务并使其生效 – 相同任务聚合至相同的执行器统一处理 – 动态调配追加资源至新分配的任务 • 作业治理 – 失效转移 – 错过作业重新执行 – 自诊断修复 • 作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 – 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 可插拔架 构的设计理念，打造了全新作业 API。意在使开发者能够更加便捷且相互隔离的方式拓展作业类型，打造 ElasticJob 作业的生态圈。 ElasticJob 提供了对作业的弹性伸缩、分布式治理等功能的同时，并未限定作业的类型。它通过灵活的作 业 API，将作业解耦为作业接口和执行器接口。用户可以定制化全新的作业类型，诸如脚本执行、HTTP 服务执行（3.0.0‐beta 提供）、大数据类作业、文件类作业等。目前

方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.1 Shard ingSphere-JDBC Shardi ngSphere-Proxy 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分

方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.0 Shard ingSphere-JDBC Shardi ngSphere-Proxy 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分

q=servicecomb servicecomb.apache.org Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb q=servicecomb servicecomb.apache.org 电商 数据治理 • 权限 • 数据脱敏 • SQL防火墙 & SQL审核 可观察性 • APM • 链路追踪 • 调用拓扑图 • 监控报警 服务治理 • 配置动态化 • 高可用 • 过载保护 & 熔断 & 禁用 & 失效转移 分布式治理 9 github.com/apache?q=servicecomb

方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.2 Shard ingSphere-JDBC Shardi ngSphere-Proxy 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分

3.5.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.6 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.6.1 背景 ShardingSphere 的定义，设计哲学和部署形态。 更多常见问题，请参考 FAQ。 1.1 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache 为应用提供标准化的连接方式。 1.2.2 增强：数据库计算增强引擎 在原生数据库基础能力之上，提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈，后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 1.2. 设计哲学 4 Apache ShardingSphere document, v5.2.0 1.2.3 可插拔：构建数据库功能生态