Apache ShardingSphere 中文文档 5.2.0Apache ShardingSphere 是一款开源的分布式数据库生态项目,由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构,通过插件开放扩展功能。它提供多源异构数据库增强平台,进而围绕其上层 构建生态。 Apache ShardingSphere 设计哲学为 Database Plus,旨在构建异构数据库上层的标准和生态。它关注如 何充分合理地利用数据库的计算和存 gSphere 提供在单机数据库之上的分布式事务能力,可实现跨底层数据源的数据安全。 读 写 分离 读写分离,是应对高压力业务访问的手段之一。ShardingSphere 基于对 SQL 语义理解及底层 数据库拓扑感知能力,提供灵活、安全的读写分离能力,且可实现读访问的负载均衡。 高 可 用 高可用,是对数据存储计算平台的基本要求。ShardingSphere 基于无状态服务,提供高可用 数据迁移,是打通数据生态的关键能力。SharingSphere 提供基于数据全场景的迁移能力,可 应对业务数据量激增的场景。 联 邦 查询 联邦查询,是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力,简化并提升数据使用体验。 数 据 加密 数据加密,是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 ShardingSphere‐JDBC 接入端,可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中,如果用户想要进行数据分析,需要先使用 ETL 工具,将数据同步至数据平台中, 然后再进行数据分析,使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持,独立于应用程序部署,适用于实时分析的 OLAP0 码力 | 557 页 | 4.61 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 ShardingSphere‐JDBC 接入端,可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中,如果用户想要进行数据分析,需要先使用 ETL 工具,将数据同步至数据平台中, 然后再进行数据分析,使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持,独立于应用程序部署,适用于实时分析的 OLAP0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 ShardingSphere‐JDBC 接入端,可以满足高并发的 OLTP 场景下的性能要求。 海量数据实时分析 OLAP 场景 在传统的数据库架构中,如果用户想要进行数据分析,需要先使用 ETL 工具,将数据同步至数据平台中, 然后再进行数据分析,使用 ETL 工具会导致数据分析的实效性大打折扣。ShardingSphere‐Proxy 提供静 态入口以及异构语言的支持,独立于应用程序部署,适用于实时分析的 OLAP0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha效的避免由数据量超过可承受阈值而产生的查询瓶颈。除此之外,分库还能够用于有效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 作为下次查询条件的分 页方式等。 分页信息修正时,如果使用占位符的方式书写 SQL,则只需要改写参数列表即可,无需改写 SQL 本身。 批量拆分 在使用批量插入的 SQL 时,如果插入的数据是跨分片的,那么需要对 SQL 进行改写来防止将多余的数据 写入到数据库中。插入操作与查询操作的不同之处在于,查询语句中即使用了不存在于当前分片的分片 键,也不会对数据产生影响;而插入操作则必须将多余的分片键删除。举例说明,如下0 码力 | 301 页 | 3.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0数据分片 19 Apache ShardingSphere document, v5.0.0 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 WHERE order_id = 1) o WHERE o.order_id = 2; 4.2. 数据分片 32 Apache ShardingSphere document, v5.0.0 跨库关联查询 当关联查询中的多个表分布在不同的数据库实例上时,由 Federation 执行引擎提供支持。假设 t_order 和 t_order_item 是多数据节点的分片表,并且未配置绑定表规则,t_user0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1效的避免由数据量超过可承受阈值而产生的查询瓶颈。除此之外,分库还能够用于有效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0 到 t_order_9。 绑定表 指分片规则一致的一组分片表。使用绑定表进行多表关联查询时,必须使用分片键进行关联,否则会出现笛 卡尔积关联或跨库关联,从而影响查询效率。例如:t_order 表和 t_order_item 表,均按照 order_id 分片,并且使用 order_id 进行关联,则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0效的避免由数据量超过可承受阈值而产生的查询瓶颈。除此之外,分库还能够用于有效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0 到 t_order_9。 绑定表 指分片规则一致的主表和子表。使用绑定表进行多表关联查询时,必须使用分片键进行关联,否则会出现笛 卡尔积关联或跨库关联,从而影响查询效率。例如:t_order 表和 t_order_item 表,均按照 order_id 分片,并且使用 order_id 进行关联,则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2效的避免由数据量超过可承受阈值而产生的查询瓶颈。除此之外,分库还能够用于有效的分散对数据库 单点的访问量;分表虽然无法缓解数据库压力,但却能够提供尽量将分布式事务转化为本地事务的可能, 一旦涉及到跨库的更新操作,分布式事务往往会使问题变得复杂。使用多主多从的分片方式,可以有效 的避免数据单点,从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下,以及对流量进行疏导应对高访 SQL,在分片之后的数据库中并不一定能够正确 运行。例如,分表导致表名称的修改,或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表,可以在降低单表数据量的情况下, 尽量使用本地事务,善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 景,有些业务仍然需要保持事务的一致性。而基于 XA 的分布式事务由于在并发度高的场景中性能无法满 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0 到 t_order_9。 绑定表 指分片规则一致的一组分片表。使用绑定表进行多表关联查询时,必须使用分片键进行关联,否则会出现笛 卡尔积关联或跨库关联,从而影响查询效率。例如:t_order 表和 t_order_item 表,均按照 order_id 分片,并且使用 order_id 进行关联,则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日. . 71 应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 运维平台和 RESTFul API 部署 (可选) . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.3.2 导出作业信息 . . . . . . . . 72 监听作业服务器存活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 6.3.4 运维平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 登录 . . . . . . . interface 指定网卡地址或 elasticjob.preferred.network.ip 指定 IP。ElasticJob 默认 获取网卡列表中第一个非回环可用 IPV4 地址。 运维平台和 RESTFul API 部署 (可选) 1. 解压缩 elasticjob-console-${version}.tar.gz 并执行 bin\start.sh。 2. 打开浏览器访问 ht0 码力 | 98 页 | 1.97 MB | 1 年前3
共 10 条
- 1













