# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

GO CN 微博增值团队在Go服务可观测性的实践与探索 张铃崎 @我馨里的小雨雨雨雨呀 目前从事可观测性与基础设施建设相关工作。 https://07is.me ’ alt=‘OCR图片’/> 第一部分背景 ’ alt=‘OCR图片’/> 背景 微博热搜 点击刷新 这份国礼承载着中泰两国人民的… 1 世界杯开幕式 582.5万 2郑州通报4个月大女婴夭折 299万 3 卡塔尔世界杯有哪些中… 今晚有热点，请各位做好保障。 用户投诉到老板微博底下了，xxx功能怎么不能用了？ xxx接口性能怎么这么差？怎么才这么点QPS就扛不住了？谁写的谁看看？ ’ alt=‘OCR图片’/> 背景 故障 故障通常是用户投诉发现（有时是老板） 故障定位问题时间长： 2020年临时头像故障为例，根因是大Key导致Mc带宽打满，2小时才定位到问题，近2年会员团队最严重的故障。 维护成本 没人完整知道服务之间的依赖关系。依赖资源错综复杂。 没人完整知道服务之间的依赖关系。依赖资源错综复杂。 服务迁移，重构，php版本升级时，隐藏问题无法发现 团队Go转型、拥抱k8s 重复造轮子，浪费开发时间 监控效率 监控体系不统一，规则不完善，覆盖度不足 下游依赖监控不可控 ’ alt=‘OCR图片’/> 发展历史 Grafana Labs Skywalking OpenTelemetry ’ alt=‘OCR图片’/> 第二部分 可观测性 ’ alt=‘OCR图片’/>

## 微博Service Mesh实践 —Weibo Mesh ## 微博搜索/丁振凯 2018.07.29 ## 内容提要 CONTENTS  1. 跨语言服务化的必要性及难点  ## 业务部门调用链 ## 业务部门 Golang 服务 PHP 服务 WEB A RPC A WEB B Motan RPC B 平台体系 OR服务 ## 4 ,7层调度 业务部门语言种类繁多 微服务体系建设不完善/重复 网络抖动，dns不稳定 4，7层冗长调用链及资源消耗 ## 趋势 微服务 容器化 DevOps 云原生 1 2 3 4 服务治理与业务逻辑解耦，可持续交付 ## 2 ## 跨语言服务化面临的问题 • 改造成本 • 服务治理 ## 改造成本 Server(php/java/

## 從微軟角度看 Kubernetes 對公有雲所帶來的改變與挑戰 Tom Lee 雲端解決方案架構師 合作夥伴暨商務事業群 台灣微軟 ## 2014 Satya 公開表示 "Microsoft loves Linux" .NET Foundation 成立 ## 2016 .NET Core 1.0 開放源碼 微軟宣布 SQL on Linux 計畫 Foundation ## 2017 微軟加入 CNCF 開放源碼計畫 Helm, Draft, Brigade, Kashti projects 貢獻 Kubernetes 社群 推出 Azure Kubernetes Service ## 2018 Azure Sphere 採用 Linux kernel 微軟宣布併購 GitHub ~5,000 微軟員工參與 GitHub 上為數眾多之開

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1

## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 数万台 服务器和ECS 超一万 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Device Plugin runc nanovisor kata 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 基础服务 神龙裸金属 VPC 云存储 云化资源 应用服务器 数据库服务器 国产化服务器 非云资源 ## 二、 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控

## RAINBOND服务日志管理 好雨交付工程师-郭逊 ## 大纲 1. Rainbond自身的日志管理机制 2. 对接 Elasticsearch 3. 演示示例 2019-07-31T03:29:22.251Z INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s {"monitoring": /4/b/d/24bd0bda2e50810fa43321ee941db5bf/p4_1.jpg) # 1.RAINBOND自身日志管理机制 ### 1.1 日志界面 首页 / 我的应用 / 服务日志对接Es示例 / NGINX NGINX 访问 关闭 管理容器 其他操作 最近1000条日志 2019-07-30T15:59:22.251Z INFO [monitoring] log/log RAINBOND自身日志管理机制 1.3 日志来源，以及相关原理 node服务功能与角色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取文件系统中容器日志的路径，监视来自容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。 rbd-eventlog组件功能与角色 接收来自NODE服务的推送，用WEBSOCKET协议将日志内容推送到用户所操作的应用控制台。