# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 二、 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制

https://github.com/sofastack ## 目录 ## contents 一、Service Mesh 简介 二、为什么要 Service Mesh 三、方案落地 四、分时调度案例 五、思考与未来 ## 一、 Service Mesh 简介 ## 控制面 Pilot/Gallery/Citadel/Mixer ![Image](/uploads/docum New MOSN 迁移监听套接字 解析Mosn配置 关闭控制面服务 关闭数据面服务 ## 通知启动完成 启动控制面服务 迁移存量长连接 ## 四、 分时调度案例 业务诉求 资源限制 分时调度 常规方案操作步骤 分时调度操作步骤 ## MOSN 作用：保活态节点流量转发，降低保活态节点内存占用 ## 保洁意义： $ ^{*} $ 应用长连接维持 $ ^{*} $

[Image](/uploads/documents/7/b/b/0/7bb08d18ac005ba64bb441c169412979/p1_2.jpg) ## 学习目标 1. 线程基础：理解任务调度、进程和线程，掌握其联系和区别；掌握 Java 的线程模型，以及如何创建线程；理解后台线程。 2. 线程控制：理解线程的生命周期，明白各阶段的含义；掌握线程控制方法，理解各线程控制方法对线程状态切换的作用。 创建线程 后台线程 线程控制 线程生命的周期 线程优先级 线程串行化 线程休眠 线程让步 线程挂起与恢复 线程等待与通知 ## 概念回顾 ## 任务调度 大部分操作系统的任务调度是采用时间片轮转的抢占式调度方式，一个任务执行一小段时间后强制暂停去执行下一个任务，每个任务轮流执行。 ▶ CPU 的执行效率非常高，时间片非常短，在各个任务之间快速地切换，让人感觉像是多个任务在 c005ba64bb441c169412979/p6_1.jpg) ## 概念回顾 ## ☑ 进程 进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体。 (展示类 UNIX 系统的进程树) 进程一般由程序段、数据段和进程控制块三部分构成进程实体。 ## 什么是线程 根据多任务原理，在一个程序内部也可以实现

简介 1.21.1 快速上手 1.21.2 基本概念 1.21.3 kubectl 使用 1.21.4 架构设计 1.21.5 Mesos - 优秀的集群资源调度平台 1.22 Mesos 简介 1.22.1 安装与使用 1.22.2 原理与架构 1.22.3 Mesos 配置项解析 1.22.4 日志与监控 1.22 器是否状态异常。很多情况下这没问题，但是如果程序进入死锁状态，或者死循环状态，应用进程并不退出，但是该容器已经无法提供服务了。在 1.12 以前，Docker 不会检测到容器的这种状态，从而不会重新调度，导致可能会有部分容器已经无法提供服务了却还在接受用户请求。 而自 1.12 之后，Docker 提供了 HEALTHCHECK 指令，通过该指令指定一行命令，用这行命令来判断容器主进程的服务状态 仓库可以被认为是一个具体的项目或目录。例如对于仓库地址 dl.dockerpool.com/ubuntu 来说，dl.dockerpool.com 是注册服务器地址，ubuntu 是仓库名。 大部分时候，并不需要严格区分这两者的概念。 ## Docker Hub 目前 Docker 官方维护了一个公共仓库 Docker Hub，其中已经包括了数量超过 15,000 的镜像。大部分需求都可以通过在

```markdown ## 启动 ## 开发一套行情系统 最短的时间交付？ 满足大量并发请求？ 低延时？ 指标、计算服务？ 接入二级平台或交易所的数据 提供高速实时行情数据服务 提供分时、K线、指标等数据服务 接入服务单节点并发10000 十一假前交付 3个月的开发时间 组建团队 ```markdown ## 团队 ## 组建一个团队 团队的主开发语言？证券、期货经验？ Frame行情应用框架 3 Status 统计库 4 Command 命令框架 5 Dispatcher 调度框架 6 Config 配置库 7 utils 工具库 8基础业务库 main.go服务启动器 utils 工具库 基础业务库 Status统计框架 1 Dispatcher调度框架 解耦 2 对象化/组件化 3 服务化 GopherChina 2017 www.gopherchina org 基础业务库 开发人员可以专注在业务需求的开发实现上其他语言转Golang的技术难度也能大幅降低 协议库 第三方数据源go化封装及协议转换库 交易日处理库 多路行情源竞争库 分时、K线、逐笔、分价算法库 指标算法库 行情数据压缩算法库 数据缓存策略库 其他，根据需求增加…… Gear 接入服务 服务设计 服务去状态 故障恢复 负载均衡 测试数据