# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

## 多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台 ![Image](/uploads/documents/b/6/4/7/b647c9 排查定位问题成本高 —> 跨度大 业务成本难以核算 —> 账单难处理 o o o ## 云管平台架构设计 Gartner：云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排，能够自动化部署和配置相关资源，可以与企业现有IT管理系统集成的服务化能力 自助服务 多云管理 资源优化 多云统一编排 接口适配 私有云 公有云 虚拟化 ## 云管平台架构设计 Presentation Service Redis Aliyun SDK AWS Huawei Other ## 资源统一管理：日志 - 通用的参数在拦截器获取实现，并注入到log4j的MDC - 使用时没有侵入，自动将通用参数写入日志 - 标准化：统一日志规范和记录日志方式 HttpRequest interceptor Inject basic info Controller Log Cloud

[Image](/uploads/documents/0/e/f/2/0ef2dc85a2a8c5cd710f26461146a99b/p1_2.jpg) ## 为 Python Function 自动生成 Web UI 彭未康 ## Touch-Callable The web framework for less serious application. (venv3.6)$ pip install

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后 图03-21 1 4:4803-21 1 5:230/6 -石景山建峰mss10/7 -石景山待自动分配(1)图03-21 1 4:5103-21 1 5:25

0 码力 | 28 页 | 6.86 MB | 2 年前

3

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制

现代编程思想 案例：自动微分 Hongbo Zhang ## 微分 • 微分被应用于机器学习领域 ◦ 利用梯度下降求局部极值 牛顿迭代法求函数解： $ x^{3}-10x^{2}+x+1=0 $ • 我们今天研究简单的函数组合 ○ 例： $ f(x_{0},x_{1})=5x_{0}^{2}+x_{1} $ ■ $ f(10,100)=600 $ ■ $ \frac{\partial 缺点：计算机无法精准表达小数，且绝对值越大，越不精准 符号微分：Mul(Const(2), Var(1)) -> Const(2) ■ 缺点：计算结果可能复杂；可能重复计算；难以直接利用语言原生控制流 ◦ 自动微分：利用复合函数求导法则、由基本运算组合进行微分 ■ 分为前向微分和后向微分 ## 符号微分 ## • 我们以符号微分定义表达式构建的一种语义 1. enum Symbol { 2. _ => Mul(f1, f2) 8. } } ## • 化简效果 1. let diff_0 : Symbol = Mul(Constant(5.0), Var(0)) ## 自动微分 ## - 通过接口定义我们想要实现的运算 1. trait Number { 2. constant(Double) -> Self 3. op_add(Self, Self)

## 如何利用深度学习提高高精地图生产的自动化率 DeepMap 邹亮 2019-05-08 ## 极客邦科技 会议推荐2019  ## QCon 北京 ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 QCon 苹果地图首发团队和负责人  • 百度自动驾驶事业部首席架构师 • 三维重建与数据建模博士 ，相机 (Camera)， GPS，惯导(IMU) ## DEEPMAP Providence, RI !

基于Python构建高稳定可扩展的自动化测试集群 网易游戏自动化测试实践分享 杨柳 网易高级经理，技术专家 ## 自我介绍 2013年毕业于北京大学计算机系，同年加入网易 ➢ 负责质量和效率相关平台研发 ✓ QA数据中心 ✓ 游戏舆情监控平台 ✓ TestEase测试分发平台 ✓ Feedback反馈平台 DockerServer服务器管理平台 ✓ Airtest自动化测试框架 ✓ AirLab云测试平台和私有化解决方案 ## 目录 CONTENTS 自动化测试的需求和难点 Airtest自动化测试框架 自动化测试集群产品设计和架构分享 网易自动化解决方案介绍  ## 1 自动化测试的需求和难点 为什么要自动化，怎么自动化 PYTHON 30th ## .jpg) ## 自动化测试高收益场景1——兼容性测试 非常重要 一个机型不兼容，那么损失的将是这个机型下面的所有用户 ➢ 非常耗时间，非常耗人力 市面上大几百台的设备需要去执行大量重复的测试用例  ## 自动化测试高收益场景2——性能测试