Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日开启失效转移功能,ElasticJob 会监控作业每一分片的执行状态,并将其写入注册中心,供其他节点感知。 在一次运行耗时较长且间隔较长的作业场景,失效转移是提升作业运行实时性的有效手段;对于间隔较 短的作业,会产生大量与注册中心的网络通信,对集群的性能产生影响。而且间隔较短的作业并未见得 关注单次作业的实时性,可以通过下次作业执行的重分片使所有的分片正确执行,因此不建议短间隔作 业开启失效转移。 另外需要注意的是,作业本身的幂等性,是保证失效转移正确性的前提。 态,可保证数据不会重复选取。 maxTimeDiffSeconds: 如果时间误差超过配置秒数则作业启动时将抛异常。 reconcileIntervalMinutes: 在分布式的场景下由于网络、时钟等原因,可能导致 ZooKeeper 的数据与真实运行的作业产生不一致,这 种不一致通过正向的校验无法完全避免。需要另外启动一个线程定时校验注册中心数据与真实作业状态 的一致性,即维持 ElasticJob max‐time‐diff‐seconds 否 reconcile‐interval‐minutes 否 job‐sharding‐strategy‐type 否 job‐executor‐service‐handler‐type 否 job‐error‐handler‐type 否 job‐listener‐types 否 description 否 props 否 disabled0 码力 | 98 页 | 1.97 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 修改配置 在 classpath 中增加 seata.conf 文件。 client { application.id = example ## 应用唯一主键 transaction.service.group = my_test_tx_group ## 所属事务组 } 根据实际场景修改 Seata 的 file.conf 和 registry.conf 文件。 9.1.4 可选插件0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 修改配置 在 classpath 中增加 seata.conf 文件。 client { application.id = example ## 应用唯一主键 transaction.service.group = my_test_tx_group ## 所属事务组 } 根据实际场景修改 Seata 的 file.conf 和 registry.conf 文件。 9.1.4 可选插件0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; UNION、INTERSECT、EXCEPT 等集合运算语句中包含加密列。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 transaction.seata.tx.timeout,全局事务超时(秒),存在默认值为 60 3. client.application.id,应用唯一主键 4. client.transaction.service.group,所属事务组,存在默认值为 default 一个完全配置的 seata.conf 如下, shardingsphere.transaction.seata.at.enable =0 码力 | 557 页 | 4.61 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; 修改配置 在 classpath 中增加 seata.conf 文件。 client { application.id = example ## 应用唯一主键 transaction.service.group = my_test_tx_group ## 所属事务组 } 根据实际场景修改 Seata 的 file.conf 和 registry.conf 文件。 4.1.6 不支持项 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1ShardingSphere‐Proxy,ShardingSphere‐JDBC 暂不提供。 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中,很多功能实现类的加载方式是通过 SPI(Service Provider Interface)注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API,它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • props: JVM_INFORMATION_COLLECTOR_ENABLED : "true" Jaeger: host: "localhost" port: 5775 props: SERVICE_NAME: "shardingsphere-agent" JAEGER_SAMPLER_TYPE: "const" 4.10. 可观察性 62 Apache ShardingSphere0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2ster/shardingsphere‐distsql 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中,很多功能实现类的加载方式是通过 SPI(Service Provider Interface)注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API,它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; "localhost" port: 5775 props: SERVICE_NAME: "shardingsphere-agent" JAEGER_SAMPLER_TYPE: "const" JAEGER_SAMPLER_PARAM: "1" Zipkin: host: "localhost" port: 9411 props: SERVICE_NAME: "shardingsphere-agent"0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0ShardingSphere‐Proxy,ShardingSphere‐JDBC 暂不提供。 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中,很多功能实现类的加载方式是通过 SPI(Service Provider Interface)注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API,它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • "localhost" port: 5775 props: SERVICE_NAME: "shardingsphere-agent" JAEGER_SAMPLER_TYPE: "const" JAEGER_SAMPLER_PARAM: "1" Zipkin: host: "localhost" port: 9411 props: SERVICE_NAME: "shardingsphere-agent"0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交。 XA 两阶段事务 支持项 • 支持数据分片后的跨库事务; • 两 TOR_ENABLED : “true”Jaeger: host: “localhost” #jaeger 服务的 host port: 5775 #jaeger 服务的端口 props: SERVICE_NAME: “shardingsphere‐agent” JAEGER_SAMPLER_TYPE:“const”JAEGER_SAMPLER_PARAM:“1”JAEGER_REPORTER_LOG_SPANS:0 码力 | 301 页 | 3.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0ShardingSphere document, v5.0.0 3.4 可插拔架构 3.4.1 背景 在 Apache ShardingSphere 中,很多功能实现类的加载方式是通过 SPI(Service Provider Interface)注 入的方式完成的。SPI 是一种为了被第三方实现或扩展的 API,它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • agent.yaml 中填写好配置即可,例如将 Traces 数据导出到 Zipkin 。 OpenTelemetry: props: otel.resource.attributes: "service.name=shardingsphere-agent" otel.traces.exporter: "zipkin" otel.exporter.zipkin.endpoint: "http://1270 码力 | 385 页 | 4.26 MB | 1 年前3
共 22 条
- 1
- 2
- 3













