2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力

1.2.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.3 数据库治理 . . 2 2. 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.3 3. 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 ShardingSphere‐Proxy 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.1 背景

2 2. 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.3 3. 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 ShardingSphere‐Proxy 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4 功能 17 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . 19 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.2 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1.2 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.3 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 ShardingSphere‐Proxy 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . .

2.1.2 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.3 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 ShardingSphere‐Proxy 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . .

生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 功能 18 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 背景 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 特性支持 . . 24 限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.3 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.3.1 背景

. . . 10 弹性分布式实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 注册中心数据结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 config 节点 . . . . . . 2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 – 可扩展的作业类型统一接口 – 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等 – 易于对接业务作业，能够与 Spring 依赖注入无缝整合 • 可视化管控端 – 作业管控端 – 作业执行历史数据追踪 – 注册中心管理 3 3 环境要求 3.1 Java 请使用 Java 8 及其以上版本。 3.2

. . 3 1.2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3 功能 14 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . .

3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 8.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . .