Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日开启失效转移功能,ElasticJob 会监控作业每一分片的执行状态,并将其写入注册中心,供其他节点感知。 在一次运行耗时较长且间隔较长的作业场景,失效转移是提升作业运行实时性的有效手段;对于间隔较 短的作业,会产生大量与注册中心的网络通信,对集群的性能产生影响。而且间隔较短的作业并未见得 关注单次作业的实时性,可以通过下次作业执行的重分片使所有的分片正确执行,因此不建议短间隔作 业开启失效转移。 另外需要注意的是,作业本身的幂等性,是保证失效转移正确性的前提。 是否需要额外配 置 记录日志策略 记录作业异常日志,但不中断作业执行 是 是 抛出异常策略 抛出系统异常并中断作业执行 是 忽略异常策略 忽略系统异常且不中断作业执行 是 邮件通知策略 发送邮件消息通知,但不中断作业执行 是 企业微信通知策 略 发送企业微信消息通知,但不中断作业 执行 是 钉钉通知策略 发送钉钉消息通知,但不中断作业执行 是 记录日志策略 public class 是否需要额外配 置 记录日志策略 记录作业异常日志,但不中断作业执行 是 是 抛出异常策略 抛出系统异常并中断作业执行 是 忽略异常策略 忽略系统异常且不中断作业执行 是 邮件通知策略 发送邮件消息通知,但不中断作业执行 是 企业微信通知策 略 发送企业微信消息通知,但不中断作业 执行 是 钉钉通知策略 发送钉钉消息通知,但不中断作业执行 是 记录日志策略 elasticjob:0 码力 | 98 页 | 1.97 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 508 页 | 4.44 MB | 1 年前3
MyBatis 框架尚硅谷 java 研究院版本:V 1.09 jdbc.username=root jdbc.password=12343)在 environment 元素的 dataSource mybatis 初始化的时候,告诉 mybatis 需要引入哪些 Mapper 映射文件 2) mapper 逐个注册 SQL 映射文件 resource : 引入类路径下的文件 url : 引入网络路径或者是磁盘路径下的文件 class : 引入 Mapper 接口. 有 SQL 映射文件 , 要求 Mapper 接口与 SQL 映射文件同名同位置. 没有 SQL 映射文件 , 使用注解在接口的方法上写 0 码力 | 44 页 | 926.54 KB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; UNION、INTERSECT、EXCEPT 等集合运算语句中包含加密列。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/database-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 557 页 | 4.61 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考 核数 200m compute.replicas ShardingSphere‐Proxy 节点个数 3 c ompute.service.type ShardingSphere‐Proxy 网络模式 ClusterIP c ompute.service.port ShardingSphere‐Proxy 暴露端口 3307 compute.mys qlConnector. version0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • image.tag 镜像 tag 5.1.0 replicas ShardingSphere‐Proxy 集群模式副本数 3 “ service.type“ ShardingSphere‐Proxy 网络模式 NodePort mysqlconne ctor.enabled MySQL 驱动开启开关 true mysqlconne ctor.version MySQL 驱动版本 5.1.49 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; 核数 200m compute.replicas ShardingSphere‐Proxy 节点个数 3 “ compute.service.type“ ShardingSphere‐Proxy 网络模式 ClusterIP “ compute.service.port“ ShardingSphere‐Proxy 暴露端口 3307 compute.my sqlConnector. version 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。0 码力 | 446 页 | 4.67 MB | 1 年前3
2 Sharding-JDBC入门使用metadata.enabled: #是否在启动时检查分表元数据一致性,默认值: false proxy.frontend.flush.threshold: # proxy的服务时候,对于单个大查询,每多少个网络 包返回一次 proxy.transaction.type: # 默认LOCAL,proxy的事务模型 允许LOCAL,XA,BASE三个值 LOCAL无分布式事务,XA则是采用atomikos实现的分布式事务0 码力 | 12 页 | 325.38 KB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。 size.per.query: # 每个查询可以打开的最大连接数量, 默认为 1 proxy.frontend.flush.threshold: # proxy 的服务时候, 对于单个大查询, 每多少个网络包返回一 次 check.table.metadata.enabled: # 是否在启动时检查分表元数据一致性,默认值: false proxy.transaction.type: # 默认 LOCAL0 码力 | 406 页 | 4.40 MB | 1 年前3
共 12 条
- 1
- 2













