Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日2020 年 5 月 28 日成为 Apache ShardingSphere 的子项目。欢迎通过邮件列表参与讨论。 1 1 简介 使用 ElasticJob 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求,使他们能够更加专注 于面向业务编码设计;同时,它也能够解放运维工程师,使他们不必再担心任务的可用性和相关管理需 求,只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob document 分片项 ElasticJob 并不直接提供数据处理的功能,而是将分片项分配至各个运行中的作业服务器,开发者需要自 行处理分片项与业务的对应关系。分片项为数字,始于 0 而终于分片总数减 1。 个性化分片参数 个性化参数可以和分片项匹配对应关系,用于将分片项的数字转换为更加可读的业务代码。 例如:按照地区水平拆分数据库,数据库 A 是北京的数据;数据库 B 是上海的数据;数据库 控这些节点的变化来协调分布式作业的分片以及高可用。可在作业运行实例节点写入 TRIGGER 表示该 实例立即执行一次。 sharding 节点 作业分片信息,子节点是分片项序号,从零开始,至分片总数减一。分片项序号的子节点存储详细信息。 每个分片项下的子节点用于控制和记录分片运行状态。节点详细信息说明: 子 节 点 名 临 时 节 点 描述 in‐ stance 否 执行该分片项的作业运行实例主键0 码力 | 98 页 | 1.97 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 server.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.2.0所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 server.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 449 页 | 5.85 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.1所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 server.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 530 页 | 4.49 MB | 1 年前3
Apache ShardingSphere 中文文档 5.3.2所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 server.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 508 页 | 4.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 server.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere v5.5.0 中文文档所使用的配置文件中的 JDBC URL 进行调整,即参数名 conn 的值:‐ 增加参数 defaultRowFetchSize=50 可能减少多行结果集的 fetch 次数,需要根据实际测试结果适当增大或减 小。‐ 增加参数 reWriteBatchedInserts=true 可能减少批量插入的耗时,例如准备数据或 New Order 业务的批量插入,需要根据实际测试结果决定是否启用。 props 参数值默认值为 ‐1,修改为 50 左右可以尽量减少多行结果集 的 fetch 次数。proxy-frontend-executor-size 参数默认值为 CPU * 2,可以根据实际测试结果减 少至 CPU * 0.5 左右;如果涉及 NUMA,可以根据实际测试结果设置为单个 CPU 的物理核数。 global.yaml 文件节选: props: proxy-backend-query-fetch-size:0 码力 | 557 页 | 4.61 MB | 1 年前3
共 7 条
- 1













