# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

[Image](/uploads/documents/c/d/1/1/cd11ba0b707be61cb140b86841b53505/p1_1.jpg) BEIJING 2017 # 构建基于富媒体大数据的弹性深度学习计算平台 SPEAKER / 土土@七牛 AtLab ## 促进软件开发领域知识与创新的传播  ## AVA 弹性深度学习平 △ Iterative training Incremental training Semi-supervised Labeling Model comparison

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 Plugin runc nanovisor kata 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 基础服务 神龙裸金属 VPC 云存储 云化资源 应用服务器 数据库服务器 国产化服务器 非云资源 ## 二、 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性

效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 - 容器在业界的默认标准是Docker，定义容器标准的组织是OCI。 ## 什么是容器编排调度引擎？ Cluster Scheduler  [Image](/uploads/documents/8/c/c/6/8cc64edefe1062de7272506735c29556/p5_4.jpg) 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器之间如何进行交互。 - Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高灵活性等特点。 等特点。 CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证 ## 容器技术迅猛发展，Kubernetes主宰容器编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes Docker: Now Powered by Swarm and Kubernetes The best enterprise

依赖小服务，有一定改造成本； 依赖外部服务 ## 数据同步 存储系统自带同步 不成熟； 自研组件之间同步 ## 业务开发影响 减少对业务开发影响 需要封装屏蔽细节 ## 流量调度 如何精准调度； 如何合理调度 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 业务特点分析

N/A	本地模式 (单点读写)

## 设计思路 精准流量调度 数据同步 多元化 核心业务异地多活 主从 场景区分 多主 汇聚 混合 最终一致性 依赖关系优化 封装屏蔽细节 容量合理规划 配套系统支撑 ## 当前总体架构 ![Ima uments/f/2/4/4/f244e3e91d6c76afe0bdeadb784517f8/p14_2.jpg) ## 核心业务异地多活 原有系统 核心系统 非核心系统 ## 传统DNS调度存在问题 iFLY 获取服务IP DNS劫持严重 用户设置DNS服务器 DNS各级缓存 DNSTTL不遵循 EDNS普及缓慢 ![Image](/uploads/document

部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 ## Kubernetes 介绍 ## • 是一套集自动部署，弹性扩容，并且基于容器的集群管理工具。 - 快速部署应用程序 弹性负载均衡 • 无缝升级应用 • 硬件隔离 ![Image](/uploads/documents/6/9/d/b/69dbb7cfe1d387756b14ee6a7e7fbdb1/p6_2 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 ## AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 ## AI 模型实现工具及其框架举例 不同的框架和工具都有其优点长处。 dmlc XGBoost mxnet TensorFlow AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 ## AI 云平台与 Kubernetes 融合 - Kubernetes 作为 AI 平台的一个核心调度和任务管理平台 - AI 业务层负责将具体的业务逻辑实现，并与 Kubernetes 层对接 - 在底层硬件选型需要注意适合 AI 模型训练和在线服务的类型，例如 10G 及以上的 networking