Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日1 概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 5.3.2 执行机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 通知执行 . . . . . . . . . . . 63 事件追踪配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 快照导出配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.8 内置策略 . . . 不会在本次执行过程中进行重新分片,而是等待下次调度之前才开启重新分片流程。当作业执 行过程中服务器宕机,失效转移允许将该次未完成的任务在另一作业节点上补偿执行。 5.3.1 概念 失效转移是当前执行作业的临时补偿执行机制,在下次作业运行时,会通过重分片对当前作业分配进行 调整。举例说明,若作业以每小时为间隔执行,每次执行耗时 30 分钟。如下如图所示。 图中表示作业分别于 12:00,13:00 和 14:000 码力 | 98 页 | 1.97 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha由。 在一些应用场景中,分片条件并不存在于 SQL,而存在于外部业务逻辑。因此需要提供一种通过外部指 定分片结果的方式,在 Apache ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件,该分片条件仅在当前线程内生效。 除了通 ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务 0-beta 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据。 Seata 柔性事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 Seata 重复0 码力 | 301 页 | 3.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0由。 在一些应用场景中,分片条件并不存在于 SQL,而存在于外部业务逻辑。因此需要提供一种通过外部指 定分片结果的方式,在 Apache ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件,该分片条件仅在当前线程内生效。 除了通 分布式事务 40 Apache ShardingSphere document, v5.0.0 柔性事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 SEATA 重复 制和调度提供依据。这方面我们使用集群拓扑状态图来管理集群状态,同时使用心跳检测机制实现状态 检测与更新。 4.5. 分布式治理 44 Apache ShardingSphere document, v5.0.0 另一方面,不同节点节点之间的统一协调,策略与规则的同步,也需要我们能够设计一套在分布式情况 下,进行全局事件通知机制,以及独占性操作的分布式协调锁机制。这方面,我们使用 Zookeeper/Etcd 等0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1由。 在一些应用场景中,分片条件并不存在于 SQL,而存在于外部业务逻辑。因此需要提供一种通过外部指 定分片结果的方式,在 Apache ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件,该分片条件仅在当前线程内生效。 除了通 MySQL [test1]> XA RECOVER; Empty set (0.011 sec) 柔性事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 SEATA 重复 ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0由。 在一些应用场景中,分片条件并不存在于 SQL,而存在于外部业务逻辑。因此需要提供一种通过外部指 定分片结果的方式,在 Apache ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件,该分片条件仅在当前线程内生效。 除了通 MySQL [test1]> XA RECOVER; Empty set (0.011 sec) 柔性事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 SEATA 重复 ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2由。 在一些应用场景中,分片条件并不存在于 SQL,而存在于外部业务逻辑。因此需要提供一种通过外部指 定分片结果的方式,在 Apache ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件,该分片条件仅在当前线程内生效。 除了通 MySQL [test1]> XA RECOVER; Empty set (0.011 sec) 柔性事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 SEATA 重复 ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档ShardingSphere document • org.apache.shardingsphere:shardingsphere-infra-context,Context 的内核运行与 元数据刷新机制 • org.apache.shardingsphere:shardingsphere-logging-core,日志记录核心 • org.apache.shardingsphere:shard ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务 ShardingSphere‐Proxy/JDBC 启动变 慢; 2. 用户通过 DistSQL 方式使用时,通过会按照:注册存储单元 ‐> 创建分片、加密、读写分离等规则 ‐> 创建表的顺序进行操作。由于单表自动加载机制的存在,会导致操作过程中多次访问数据库进行加 载,并且在多个规则混合使用时会导致单表元数据的错乱; 3. 自动加载全部数据源中的单表,用户无法排除不想被 ShardingSphere 管理的单表或废弃表。0 码力 | 557 页 | 4.61 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1encrypt-core,数据加密核心 • org.apache.shardingsphere:shardingsphere-infra-context,Context 的内核运行与 元数据刷新机制 • org.apache.shardingsphere:shardingsphere-logging-core,日志记录核心 • org.apache.shardingsphere:shard ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2-encrypt-sm,SM 加密算法 • org.apache.shardingsphere:shardingsphere-infra-context,Context 的内核运行与 元数据刷新机制 • org.apache.shardingsphere:shardingsphere-logging-core,日志记录核心 • org.apache.shardingsphere:shard ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0• MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致。 BASE 事务 支持项 • 支持数据分片后的跨库事务; • 支持 RC 隔离级别; • 通过 undo 快照进行事务回滚; • 支持服务宕机后的,自动恢复提交中的事务。 不支持项 • 不支持除 RC 之外的隔离级别。 待优化项 • Apache ShardingSphere 和 SEATA 重复 ID,所有分支事务通过此全局 事务 ID,参与到全局事务中;全局事务 ID 的上下文存放在当前线程变量中。 执行真实分片 SQL 处于 Seata 全局事务中的分片 SQL 通过 RM 生成 undo 快照,并且发送 participate 指令至 TC,加入 到全局事务中。由于 Apache ShardingSphere 的分片物理 SQL 采取多线程方式执行,因此整合 Seata AT 事务时,需要在主线程和子线程间进行全局事务0 码力 | 449 页 | 5.85 MB | 1 年前3
共 14 条
- 1
- 2













