## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   ## 01 Part One 任务系统 ## 任务 1. 什么时间 2. 什么地点 3. 做什么事 ## 一 个简单的任务  星期数，范围：0-7（0和7都是星期天） 1.jpg) crontab cmd1 cmd2 cmd3 ## 早期的 cron V7, 1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 ## 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用 root 用去执行命令 3. Sleep 1

title: Electron 应用处理长任务 date: 2020-11-26 tags: electron, node ## description: 通过 Electron 托盘（tray）实现后台执行长任务。 Electron 应用在执行一些长时间任务（比如上传、下载），我们想关闭界面后任务依旧执行。再次打开界面，依旧可以看到正在执行的任务以及任务进度。托盘可以帮我们实现这个功能。 关闭应用前唤醒对话框二次确认 关闭应用时，触发对话框，可支持 3 种场景： 点击「取消」取消关闭操作； 点击「退出」，「后台运行」选中时，界面关闭，托盘不关闭，任务继续执行； 点击「退出」，「后台运行」不选中，界面、托盘关闭，直接退出，任务终止。 mainWindow.on('close', (e) => { dialog.showMessageBox({ resolve(__తిరిసె, 'icon.png')) message: '确定要退出吗？', detail: '选择后台运行。正在运行的任务将在系统托盘中继续运行。', checkboxLabel: '后台运行', checkboxChecked: true, buttons:

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3239 14.11.9 表属性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3662 14.17.1 TiDB 后端任务分布式框架· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · h_ �→ size" target="_blank">批量聚合数据请求（从 v6.6.0 开始引入） TiDB 支持将发送到相同 TiKV 实例的数据请求部分合并，减少子任务的数量和 RPC 请求的开销。 �→ 在数据离散分布且 gRPC 线程池资源紧张的情况下，批量化请求能够提升性能超 50%。 0 码力 | 4369 页 | 98.92 MB | 2 年前

3

· · · · · · · · 943 7.7.1 TiCDC 同步任务出现中断 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 943 7.7.2 如何处理 TiCDC 创建同步任务或同步到 MySQL 时遇到 Error 1298: Unknown 后配置文件不兼容的问题？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 945 7.7.4 TiCDC 启动任务的 start-ts 时间戳与当前时间差距较大，任务执行过程中同步中断，出现错误 [CDC:ErrBufferReachLimit]，怎么办？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 946 7.8.1 TiCDC 创建任务时如何选择 start-ts？· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 947 7.8.2 为什么 TiCDC 创建任务时提示部分表不能同步？ · · · · · · · · · · · · · ·

911 11.11 TiCDC …… 917 11.11.1 TiCDC 简介 …… 917 11.11.2 TiCDC 安装部署 …… 925 11.11.3 TiCDC 运维操作及任务管理 …… 926 11.11.4 TiCDC 常见问题和故障处理 …… 942 11.11.5 TiCDC 重要监控指标详解 …… 954 11.11.6 TiCDC 集群监控报警规则 12.11.5 聚簇索引 …… 1693 12.11.6 约束 …… 1698 12.11.7 生成列 …… 1703 12.11.8 SQL 模式 …… 1706 12.11.9 表属性 …… 1726 12.11.10 事务 …… 1729 12.11.11 垃圾回收 (GC) …… 1748 12.11.12 视图 …… 1751 12.11.13 分区表 …… MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 #### 2.1.2 四大核心应用场景 ## · 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点：资源利用率低、维护成本高、RTO

加一来实现对所有 queue 的轮询。如果入参 lastBrokerName 不为空，代表上次选择的 queue 发送失败，这次选择应该避开同一个 queue。 3）Producer 发消息系统重试： 发送失败后，重试几次 retryTimesWhenSendFailed = 2 发送消息超时 sendMsgTimeout = 3000 Producer 通过 selectOneMessageQueue broker --queueId //代表发送消息的在指定 broker 上指定 topic 下的队列编号 向指定 broker 的指定 topic 的指定 queue 发送消息 发送失败(1)重试次数不到两次(2)发送此条消息花费时间还没有到 3000(毫秒)，换个队列继续发送。 ### 2.1 producer 发送普通消息  方法来处理 broker 定时回调的请求，这里构建一个 Runnable 任务异步执行 producer 注册的回调接口，处理回调，在调 endTransactionOneway 向 broker 发送请求更新事物消息的最终状态 无 Prepared 消息，且遍历完，则终止扫描这个文件的定时任务 #### 2.2.5 事物消息的 load&recover TransactionStateService

TiCDC ..... 1327 11.11.1 TiCDC 简介 ..... 1327 11.11.2 TiCDC 安装部署 ..... 1336 11.11.3 TiCDC 运维操作及任务管理 ..... 1337 11.11.4 TiCDC 常见问题和故障处理 ..... 1353 11.11.5 为什么在使用了 TiDB Lightning 和 BR 恢复了数据之后，TiCDC 12.11.5 聚簇索引 …… 2131 12.11.6 约束 …… 2136 12.11.7 生成列 …… 2141 12.11.8 SQL 模式 …… 2144 12.11.9 表属性 …… 2164 12.11.11 事务 …… 2167 12.11.1 垃圾回收 (GC) …… 2188 12.11.1 视图 …… 2190 12.11.1 分区表 …… 2195 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 #### 2.1.2 四大核心应用场景 ## · 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点：资源利用率低、维护成本高、RTO

..... 3393 14.13.6 约束 ..... 3399 14.13.7 生成列 ..... 3407 14.13.8 SQL 模式 ..... 3411 14.13.9 表属性 ..... 3438 14.13.11 事务 ..... 3440 14.13.1 视图 ..... 3475 14.13.1 分区表 ..... 3479 14.13.1 临时表 PD Follower 提升 PD 上 Region 信息查询服务的扩展能力（实验特性）#7431 @CabinfeverB 当集群的 Region 数量较多时，PD leader 处理心跳和调度任务的开销也较大，可能导致 CPU 资源紧张。如果同时集群中的 TiDB 实例数量较多，查询 Region 信息请求并发量较大，PD leader CPU 压力将变得更大，可能会造成 PD 服务不可用。 集群规模的不断扩大，故障时快速恢复集群以减少业务中断时间显得尤为重要。在 v7.6.0 之前的版本中，Region 打散算法是性能恢复的主要瓶颈。在 v7.6.0 中，BR 优化了 Region 打散算法，可以迅速将恢复任务拆分为大量小任务，并批量分散到所有 TiKV 节点上。新的并行恢复算法充分利用每个 TiKV 节点的所有资源，实现了并行快速恢复。在实际案例中，大规模 Region 场景下，集群快照恢复速度最高提升约 10