Apache ShardingSphere 中文文档 5.1.1平分片和读写分离联合使用,能够更加有效的提升系统性能。 4.5.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。 高可用是现代系统的最基本诉求,作为系统基石的数据库,对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中,存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说,需要其自身具备数据一致性同步、探活、主节点选举等能力;对于无状态的计算节点来说,需要 感知存储节点的变化的同时,还需要独立架设负载均衡器,并具备服务发现和请求分发的能力。 Apache ShardingSphere 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES mysql> SHOW SHARDING TABLE RULES; +--0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0平分片和读写分离联合使用,能够更加有效的提升系统性能。 4.5.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。 高可用是现代系统的最基本诉求,作为系统基石的数据库,对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中,存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说,需要其自身具备数据一致性同步、探活、主节点选举等能力;对于无状态的计算节点来说,需要 感知存储节点的变化的同时,还需要独立架设负载均衡器,并具备服务发现和请求分发的能力。 Apache ShardingSphere 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES mysql> SHOW SHARDING TABLE RULES; +--0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2平分片和读写分离联合使用,能够更加有效的提升系统性能。 4.5.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。 高可用是现代系统的最基本诉求,作为系统基石的数据库,对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中,存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说,需要其自身具备数据一致性同步、探活、主节点选举等能力;对于无状态的计算节点来说,需要 感知存储节点的变化的同时,还需要独立架设负载均衡器,并具备服务发现和请求分发的能力。 Apache ShardingSphere 数据读取配置 output 数据写入配置 stream_channel 数据通道配置 completion_detector 作业完成检测算法配置 data_consistency_checker 数据一致性校验算法配置 示例 Sharding Table Rule SHOW SHARDING TABLE RULES mysql> SHOW SHARDING TABLE RULES; +--0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0平分片和读写分离联合使用,能够更加有效的提升系统性能。 4.4.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。 query (?) 属 性 每个物理数据库为每次查询分配的最大连接数量。默认值: 1 c heck.table.metadata.enabled (?) 属 性 是否在启动时检查分表元数据一致性,默认值: false4.0.0‐RC2 版本添加 名称 类型 说明 id 属性 Spring Bean Id 移除任务,xx:任务 id drop scaling 1234 reset scaling xx 重置任务进度,xx:任务 id reset scaling 1234 check scaling xx 数据一致性校验,使用 server.yaml 里的校验算法,xx:任务 id check scaling 1234 show scaling check algorithms 展示可用的一致性校验算法 0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1三种模式中,选择适合自己的分布式事务 解决方案。 ShardingSphere XA 事务使用场景 对于 XA 事务,提供了分布式环境下,对数据强一致性的保证。但是由于存在同步阻塞问题,对性能会有 一定影响。适用于对数据一致性要求非常高且对并发性能要求不是很高的业务场景。 ShardingSphere BASE 事务使用场景 对于 BASE 事务,提供了分布式环境下,对数据最终一致性的保证。由于在整个事务过程中,不会像 ShardingSphere LOCAL 事务使用场景 对于 LOCAL 事务,在分布式环境下,不保证各个数据库节点之间数据的一致性和隔离性,需要业务方自 行处理可能出现的不一致问题。适用于用户希望自行处理分布式环境下数据一致性问题的业务场景。 8.2.6 相关参考 • 分布式事务的 YAML 配置 8.2. 分布式事务 33 Apache ShardingSphere document 8.2.7 核心概念 Apache ShardingSphere document 8.3.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2三种模式中,选择适合自己的分布式事务 解决方案。 ShardingSphere XA 事务使用场景 对于 XA 事务,提供了分布式环境下,对数据强一致性的保证。但是由于存在同步阻塞问题,对性能会有 一定影响。适用于对数据一致性要求非常高且对并发性能要求不是很高的业务场景。 ShardingSphere BASE 事务使用场景 对于 BASE 事务,提供了分布式环境下,对数据最终一致性的保证。由于在整个事务过程中,不会像 ShardingSphere LOCAL 事务使用场景 对于 LOCAL 事务,在分布式环境下,不保证各个数据库节点之间数据的一致性和隔离性,需要业务方自 行处理可能出现的不一致问题。适用于用户希望自行处理分布式环境下数据一致性问题的业务场景。 8.2.6 相关参考 • 分布式事务的 YAML 配置 8.2. 分布式事务 33 Apache ShardingSphere document 8.2.7 核心概念 Apache ShardingSphere document 8.3.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档三种模式中,选择适合自己的分布式事务 解决方案。 ShardingSphere XA 事务使用场景 对于 XA 事务,提供了分布式环境下,对数据强一致性的保证。但是由于存在同步阻塞问题,对性能会有 一定影响。适用于对数据一致性要求非常高且对并发性能要求不是很高的业务场景。 ShardingSphere BASE 事务使用场景 对于 BASE 事务,提供了分布式环境下,对数据最终一致性的保证。由于在整个事务过程中,不会像 ShardingSphere LOCAL 事务使用场景 对于 LOCAL 事务,在分布式环境下,不保证各个数据库节点之间数据的一致性和隔离性,需要业务方自 行处理可能出现的不一致问题。适用于用户希望自行处理分布式环境下数据一致性问题的业务场景。 8.2.6 相关参考 • 分布式事务的 YAML 配置 8.2. 分布式事务 33 Apache ShardingSphere document 8.2.7 核心概念 Apache ShardingSphere document 8.3.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。0 码力 | 557 页 | 4.61 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0三种模式中,选择适合自己的分布式事务 解决方案。 ShardingSphere XA 事务使用场景 对于 XA 事务,提供了分布式环境下,对数据强一致性的保证。但是由于存在同步阻塞问题,对性能会有 一定影响。适用于对数据一致性要求非常高且对并发性能要求不是很高的业务场景。 ShardingSphere BASE 事务使用场景 对于 BASE 事务,提供了分布式环境下,对数据最终一致性的保证。由于在整个事务过程中,不会像 ShardingSphere LOCAL 事务使用场景 对于 LOCAL 事务,在分布式环境下,不保证各个数据库节点之间数据的一致性和隔离性,需要业务方自 行处理可能出现的不一致问题。适用于用户希望自行处理分布式环境下数据一致性问题的业务场景。 3.2.6 相关参考 • 分布式事务的 YAML 配置 3.2. 分布式事务 28 Apache ShardingSphere document, v5.2.0 3.2 平分片和读写分离联合使用,能够更加有效的提升系统性能。 3.3.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将数据分 片与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alphaShardingSphere document, v5.0.0-beta 3.3.2 挑战 读写分离虽然可以提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题。这包括多个主库之 间的数据一致性,以及主库与从库之间的数据一致性的问题。并且,读写分离也带来了与数据分片同样 的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。下图展现了将分库分 表与读写分离一同使用时,应用程序与数据库集群之间的复杂拓扑关系。 • 提供一主多从的读写分离配置,可独立使用,也可配合分库分表使用; • 独立使用读写分离支持 SQL 透传; • 同一线程且同一数据库连接内,如有写入操作,以后的读操作均从主库读取,用于保证数据一致性; • 基于 Hint 的强制主库路由。 3.3. 读写分离 62 Apache ShardingSphere document, v5.0.0-beta 不支持项 • 主库和从库的数据同步; query (?) int 每个物理数据库为每次查询分配的最大连接数量。默认 值: 1 che ck.table.metadata.enabled (?) boolean 是否在启动时检查分表元数据一致性,默认值: false ShardingSphere-3.x 读写分离 MasterSlaveDataSourceFactory 读写分离的数据源创建工厂。 名称 数据类型 说明 dataSourceMap0 码力 | 301 页 | 3.44 MB | 1 年前3
TiDB v7.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.5 第 5 步:使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.6 第 6 步:恢复主集群及业务 常用的功能、MySQL 生态,应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 金融行业场景 金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案的资源利用 率低,维护成本高。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,确 保系统的 兼容的生成列功能,在 v7.1.0 中这个功能正式 GA。 使用生成列可以提升 TiDB 对 MySQL 的兼容性,方便从 MySQL 平滑迁移到 TiDB,同时也能简化数据维护复 杂度,增强数据一致性并提高查询效率。 更多信息,请参考用户文档。 2.2.1.4 数据库管理 • 支持无需手动取消 DDL 的平滑升级集群功能(实验特性)#39751 @zimulala 在 TiDB v7.10 码力 | 4369 页 | 98.92 MB | 1 年前3
共 35 条
- 1
- 2
- 3
- 4













