## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   ## 01 Part One 任务系统 ## 任务 1. 什么时间 2. 什么地点 3. 做什么事 ## 一 个简单的任务  星期数，范围：0-7（0和7都是星期天） 1.jpg) crontab cmd1 cmd2 cmd3 ## 早期的 cron V7, 1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 ## 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用 root 用去执行命令 3. Sleep 1

# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## MARATHON MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/overview/architecture/)

title: Electron 应用处理长任务 date: 2020-11-26 tags: electron, node ## description: 通过 Electron 托盘（tray）实现后台执行长任务。 Electron 应用在执行一些长时间任务（比如上传、下载），我们想关闭界面后任务依旧执行。再次打开界面，依旧可以看到正在执行的任务以及任务进度。托盘可以帮我们实现这个功能。 关闭应用前唤醒对话框二次确认 关闭应用时，触发对话框，可支持 3 种场景： 点击「取消」取消关闭操作； 点击「退出」，「后台运行」选中时，界面关闭，托盘不关闭，任务继续执行； 点击「退出」，「后台运行」不选中，界面、托盘关闭，直接退出，任务终止。 mainWindow.on('close', (e) => { dialog.showMessageBox({ resolve(__తిరిసె, 'icon.png')) message: '确定要退出吗？', detail: '选择后台运行。正在运行的任务将在系统托盘中继续运行。', checkboxLabel: '后台运行', checkboxChecked: true, buttons:

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数 argv 处理 m0: Go 程序启动后创建的第一个线程； ## 第二部分 ## GMP 的本质 ## G、M、P 的本质 G：goroutine，一个计算任务。由需要执

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 没有容器化选型？ Java事实任务标准 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护

云原生环境下的 ETL • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 · 错误处理 ## PieCloudDB ETL方案总体设计与实现 • 任务调度总控 pdbconduct • 数据源提取 (插件/客户端工具) • 计算节点 Foreign Table, Formatter ## PieCloudDB ETL方案总体设计与实现  ## PieCloudDB ETL方案总体设计与实现 • 任务调度总控 pdbconduct • 独立运行，通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果，记录进度和错误信息 • INSERT 模式，步骤1 ➢ PieCloudDB Foreign Table, postgres扩展，需要为数据源单独开发 ➢ 控制节点上读取数据源信息，决定是否拆分，生成任务信息 计算节点上根据任务信息读取数据源，返回raw数据和元信息 ## ☐ ☐ ☐ CREATE FOREIGN TABLE foreign_table(meta text, raw bytea); SELECT

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p2_1 colspan="2">2条新公告本组3单预计完成时间 12:3057 分钟西二旗剩余380单，快速完成任务有更多接单机会！田老师红烧肉（上地店）2单 ¥138 含非在线支付 $100餐厅  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制