. . 71 应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 运维平台和 RESTFul API 部署 (可选) . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.3.2 导出作业信息 . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 登录 . . . . . . . interface 指定网卡地址或 elasticjob.preferred.network.ip 指定 IP。ElasticJob 默认 获取网卡列表中第一个非回环可用 IPV4 地址。 运维平台和 RESTFul API 部署 (可选) 1. 解压缩 elasticjob-console-${version}.tar.gz 并执行 bin\start.sh。 2. 打开浏览器访问 ht

1.1 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere 设计哲学为 Database Plus，旨 读写分离，是应对高压力业务访问的手段之一。ShardingSphere 基于对 SQL 语义理解及底层 数据库拓扑感知能力，提供灵活、安全的读写分离能力，且可实现读访问的负载均衡。 高 可 用 高可用，是对数据存储计算平台的基本要求。ShardingSphere 基于无状态服务，提供高可用 计算服务访问；同时可感知并利用底层数据库自身高可用实现整体的高可用能力。 数 据 迁移 数据迁移，是打通数据生态的关键能力。SharingSphere ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 3.1 数据分片 3.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量

ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 ShardingSphere‐JDBC 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP ShardingSphere document 8.4.2 挑战 多样化的数据库的存在，使访问数据库的 SQL 方言难于标准化，工程师需要针对不同种类的数据库使用 不同的方言，缺乏统一化的查询平台。 将不同类型的数据库方言自动翻译为后端数据库所使用的方言，让工程师可以使用任意一种数据库方言 访问所有的后端异构数据库，可以极大的降低开发和维护成本。 8.4.3 目标 SQL 方言的自动翻译，是

ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 ShardingSphere‐JDBC 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP ShardingSphere document 8.4.2 挑战 多样化的数据库的存在，使访问数据库的 SQL 方言难于标准化，工程师需要针对不同种类的数据库使用 不同的方言，缺乏统一化的查询平台。 将不同类型的数据库方言自动翻译为后端数据库所使用的方言，让工程师可以使用任意一种数据库方言 访问所有的后端异构数据库，可以极大的降低开发和维护成本。 8.4.3 目标 SQL 方言的自动翻译，是

ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 8.1 数据分片 8.1.1 背景 传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量 ShardingSphere‐JDBC 接入端，可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中，如果用户想要进行数据分析，需要先使用 ETL 工具，将数据同步至数据平台中， 然后再进行数据分析，使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持，独立于应用程序部署，适用于实时分析的 OLAP ShardingSphere document 8.4.2 挑战 多样化的数据库的存在，使访问数据库的 SQL 方言难于标准化，工程师需要针对不同种类的数据库使用 不同的方言，缺乏统一化的查询平台。 将不同类型的数据库方言自动翻译为后端数据库所使用的方言，让工程师可以使用任意一种数据库方言 访问所有的后端异构数据库，可以极大的降低开发和维护成本。 8.4.3 目标 SQL 方言的自动翻译，是

同级目录下生成代码，容易误提交，如何避免？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 准确地反应系统 真实容量水平和性能。 3.7.2 挑战 全链路压测是一项复杂而庞大的工作，需要各个中间件、微服务之间相应的调整与配合，以应对不同流 量以及压测标识的透传，通常应该有一整套压测平台与测试计划。其中，在数据库层面，为了保证生产 数据的可靠性与完整性，做好数据隔离，需要将压测的数据请求打入影子库，以防压测数据写入生产数 据库而对真实数据造成污染。这就要求业务应用在执行 SQL 类，将相应的 SQL 路由到与之对应的数据源。 3.7.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。基于内核的 SQL 解析能力， 以及可插拔平台架构，实现压测数据与生产数据的隔离，帮助应用自动路由，支持全链路压测，是 Apache ShardingSphere 影子数据库模块的主要设计目标。 3.7.4 核心概念 影子字段 判断该条

挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分 ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 够较为准确地反应系统真实容量水平 和性能。 4.8.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 了保证生产数据的可靠性与完整性，需要将压测产生的数据路由到压测环境数据库，防止压测数据对生 产数据库中真实数据造成污染。这就要求业务应用在执行

挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分 ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 了保证生产数据的可靠性与完整性，需要将压测产生的数据路由到压测环境数据库，防止压测数据对生 产数据库中真实数据造成污染。这就要求业务应用在执行

挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分 ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 了保证生产数据的可靠性与完整性，需要将压测产生的数据路由到压测环境数据库，防止压测数据对生 产数据库中真实数据造成污染。这就要求业务应用在执行

挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行扩展。目前，数据分片、读写分 ShardingSphere 提供了多样化的功能，涵盖范围从数据库内核、数据库分布式到贴近数据库上 层的应用，为用户提供了大量的功能池。 功能并无边界，只要满足数据库服务和生态的共性需求即可，期待更多的开源工程师参与 Apache Shard‐ ingSphere 社区，提供新颖思路和令人兴奋的功能。 4.1 数据库兼容 4.1.1 背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 了保证生产数据的可靠性与完整性，需要将压测产生的数据路由到压测环境数据库，防止压测数据对生 产数据库中真实数据造成污染。这就要求业务应用在执行