Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology 任务 1. 什么时间 什么时间 2. 什么地点 3. 做什么事 @Copyright Sunteng Technology 一个简单的任务 0 8 * * * echo "Hello Gophers!" @Copyright Sunteng Technology cron crond crontab cmd1 cmd2 cmd3 ... @Copyright @Copyright Sunteng Technology 早期的 cron V7，1979 1. 在Version 7 Unix里是一个系统服务 2. 只用 root 运行任务 3. 算法简单直接 @Copyright Sunteng Technology 早期的 cron 运行逻辑 1. 读 /usr/lib/crontab 文件 2. 如果有命令要在当前时间执行，就用

Centralized Client devices Edge AI • 随着大模型的发展，AI 计算对算力需求大 幅且快速增长 AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备，基于边缘设备、边缘服务 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 开源分布式协同AI框架KubeEdge-Sedna 1. GlobalCoordinator ⚫ 统一边云协同AI任务管理 ⚫ 跨边云协同管理与协同 ⚫ 中心配置管理 2. LocalController ⚫ 特性本地流程控制 ⚫ 本地通用管理: 模型, 数据集等 3. Worker ⚫ 执行训练或推理任务, 训练/推理程序, 基于现有AI框 架开 ⚫ 按需启动, docker容器或function Worker Worker 边侧推理 Lib 边侧训练 Model Worker 云侧 推理 Lib 参数 聚合 云侧 训练 Model Global Manager AI任务协调 AI任务管理 模型/数据集管理 Cloud Node Messaging over KubeEdge 终身学习 管理 边云协同AI框架 Sedna架构 Cloud EdgeNode Model

什什么是Pandora 简单 · 可信赖 Pandora架构图 Export Service API / Portal / 消息 消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息 对象存储服务 HTTP MongoDB 时序数据库 ⽇日志检索服务 XSpark Report Studio 简单 · 可信赖 内容提要 • 系统设计分析与架构 master/server架构 • master/server间采⽤用golang rpc通信 • server上报⼼心跳证明⾃自⼰己存活，并汇报所 执⾏行行任务的情况 • master向server周期性下发任务，server 管理理⾃自身任务决定哪些要执⾏行行哪些要丢弃 简单 · 可信赖 master⾼高可⽤用 • master⾃自身⽆无状态，身份信息注册在zookeeper • master server注册⾃自身，防⽌止单机重复运⾏行行 • server注册每⼀一个任务，防⽌止任务被重复执⾏行行 • server⾼高可⽤用，节点故障时任务会被调度到其他正常节点 简单 · 可信赖 server⾼高可⽤用 • server注册⾃自身，防⽌止单机重复运⾏行行 • server注册每⼀一个任务，防⽌止任务被重复执⾏行行 • server⾼高可⽤用，节点故障时任务会被调度到其他正常节点 简单 · 可信赖 ⽔水平扩展

P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 管理任务、分流client P2P缓存框架 3、任务模块 文件缓存度：是否需要下载 文件热点程度：是否热点 文件下载状态：sleep、down、限速 P2P缓存框架 4、文件模块 具体文件的存储，另外再加上内存缓存系统 5、client 对应于与客户端的一个连接，通过协议进行 通信。通过任务模块再来进行文件模块的读 写，将数据发送给客户端 6、下载模块 如何识别热点？群体智能 群体智能 蝗虫行为 2、鸟群寻找食物，粒子群算法 3、鱼群算法 简单规则 + 正反馈、负反馈 群体智能 常规热点算法 1、收集所有的任务列表 2、进行排序 3、同步的问题 群体智能 一个网吧有n个位置，每个人都可以去网吧， 但规定，每次只能预约1小时，如果时间到 了，则可以续费继续一个小时，如果不需

采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 5/36 upone 为云处理服务定制的容器调度框架，支持长期服务和定时任务 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 9/36 OFFERS 事件处理 ACCEPT 消息： 接受此 o�er， 包括启动任务，预留资源等调度操作 DECLINE 消息： 明确拒绝此 o�er Filter : 可以设定资源的拒绝时间， 默认是 5s REVIVE 消息 ： 取消之前设定 �lter 2017/8/3 Image generated by Mesos web interface 状态更新与 upone 的联动, 例如: - Running 状态, upone 更新负载均衡 - Lost 状态, 任务迁移 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3

Time)是以任意的顺序将任务映射到具有最早完成时间的主机上， 它并不保证任务被指派到执行它最快的主机上，而仅关心如何最小化任务完成时间，因而可能导致任务在资源上的 运行时间过长，从而潜在地增加了调度跨度。  ④ Min-Min算法，利用MCT矩阵，首先分别找到能够最短完成该任务的机器及最短完成时间，然后在所有的最短完成 时间中找出最小的最短完成时间对应的任务。Min-Min算法存在着一 均衡性能 (Load  Balancing)不高。  ⑤ Max-Min算法与Min-Min算法相似，都是将任务指派给具有最小预测完成时间的主机，不同的是Max-Min算法从 所有任务的最小完成时间中选取一个最大值，然后进行相应任务。主机映射，之后重复此过程直至待调度任务集合 为空。  ⑥ 轮询调度（Round  Robin  Scheduling）算法就是以轮询的方式依次将请求调度不同的服务器，即每次调度执行i queue分配一定量的资源，每个user有一定的资源使用上限。  ③ Mesos采用了Resource  Offer机制，这种调度机制面临着资源碎 片问题，即：每个节点上的资源不可能全部被分配完，剩下的一 点可能不足以让任何任务运行，这样，便产生了类似于操作系统 中的内存碎片问题。  ④ YARN适合Long  running  job和数据分析类资源的调度，对于数 据库类等短运行时场景资源调度效果较差 

的控制以及隐私计算任务的协 作 • 链下节点间基于隐私计算算 法，使⽤用多⽅方数据进⾏行行密态计 算，利利⽤用密码学算法达到“明 ⽂文数据不不出本地，计算结果定 向汇集”的数据计算效果，解 决隐私数据难使⽤用的问题。 区块链节点 隐私计算节点 本地数据库 发起⽅方节点 隐私计算节点 本地数据库 参与⽅方节点A 隐私计算节点 本地数据库 参与⽅方节点B 1.创建任务 2.完善⼦子模型 在需要调⽤用其他算法时（OT，SS 等），都需要⼿手动编写⼀一遍类似的流 程，嵌套调⽤用逻辑冗余度⽐比较⾼高 ⼦子算法参与⽅方逻辑 ⼦子算法发起⽅方逻辑 创建⼦子算法任务 发送⼦子算法任务id 等待ack 调⽤用⼦子算法任务 等待接收⼦子算法任务id 加⼊入⼦子算法任务 发送ack 趣链科技版权所有©2016 – 2021 16 隐私计算算法通⽤用流程抽象 1 发起⽅方 参与⽅方1 参与⽅方n 3 返回值是返回到本⽅方给其他 元函数的⼊入参 • 需要发送给其他⽅方的数据， 通过context对象指定参与 ⽅方发送 Context中包含本次隐私计算任务的详细信息 趣链科技版权所有©2016 – 2021 18 隐私计算算法框架 协商算法 实例例版本 检查参与⽅方 任务状态 校验多⽅方输⼊入 格式是否匹配 参与⽅方掉线 检测 算 法 管 理理 异 常 处 理理 算 法 实 例例 ADD CMP

3 协程的同步：关闭通道-测试阻塞的通道 14.4 使用 select 切换协程 14.5 通道、超时和计时器（Ticker） 14.6 协程和恢复（recover） 14.7 新旧模型对比：任务和worker 14.8 惰性生成器的实现 14.9 实现 Futures 模式 第 15 章 网络，模板和网页应用 15.1 tcp服务器 15.2 一个简单的网页服务器 15.3 访问并读取页面 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 大量有关 Web 方面的功能，我们可以通过它强大的 虚拟机，以此来实现高效快速的垃圾回收（使用了一个简单的标记-清除算法）。 尽管垃圾回收并不容易实现，但考虑这将是未来并发应用程序发展的一个重要组成部分，Go 语言的设计者们还是完成 了这项艰难的任务。 Go 语言还能够在运行时进行反射相关的操作。 使用 go install 能够很轻松地对第三方包进行部署。 此外，Go 语言还支持调用由 C 语言编写的海量库文件（第 3.9 节），从而能够将过去开发的软件进行快速迁移。

Windows 系统不⽀支持 madvise。 3. Goroutine Scheduler 并发调度器 goroutine. 轻量级实现，支持创建成千上万并发任务。 线程多路复用。 极小自定义初始栈。 任务在多个线程间切换。 scheduler. 三种抽象模型协作。 M G P thread CPU core VM task scheduler thread 系统限制，允许调整。 runtime.GOMAXPROCS 调整 P 数量，会导致 G 任务队列重新分布。 M G P scheduler max = 10000 max = 256 runtime/debug.SetMaxThreads 超出限制，会导致进程崩溃。 newproc. 创建新并发任务。 go func() G newproc P queue M weakup move global queue fget malg stack newm. 创建系统线程执行任务。 M newm g0 stack newosproc(g0) system thread checkmcount sched.midle mget execute. 并发任务调度执行。 M P schedule local execute mstart netpoll

能够完成简单算 法的复杂度分析。 2.2 迭代与递归 在算法中，重复执行某个任务是很常见的，它与复杂度分析息息相关。因此，在介绍时间复杂度和空间复杂 度之前，我们先来了解如何在程序中实现重复执行任务，即两种基本的程序控制结构：迭代、递归。 2.2.1 迭代 迭代（iteration）是一种重复执行某个任务的控制结构。在迭代中，程序会在满足一定的条件下重复执行某段 代码，直到这个条件不再满足。 求和函数的递归过程 虽然从计算角度看，迭代与递归可以得到相同的结果，但它们代表了两种完全不同的思考和解决问题的范 式。 ‧ 迭代：“自下而上”地解决问题。从最基础的步骤开始，然后不断重复或累加这些步骤，直到任务完成。 ‧ 递归：“自上而下”地解决问题。将原问题分解为更小的子问题，这些子问题和原问题具有相同的形式。 接下来将子问题继续分解为更小的子问题，直到基本情况时停止（基本情况的解是已知的）。 以上述求和函数为例，设问题 函数调用自身 时间效 率 效率通常较高，无函数调用开销 每次函数调用都会产生开销 内存使 用 通常使用固定大小的内存空间 累积函数调用可能使用大量的栈帧空间 适用问 题 适用于简单循环任务，代码直观、可读性 好 适用于子问题分解，如树、图、分治、回溯等，代码结构简洁、 清晰 Tip 如果感觉以下内容理解困难，可以在读完“栈”章节后再来复习。 那么，迭代和递归具有什么内在联