## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

## Uber 派单系统 &运维演化 ## 李宁 Uber核心流稳定性负责人 ## 极客邦科技 会议推荐2019  QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 北京 QCon ! Twitter后端存储运维 — 旧金山 2015-2019 Uber派单系统运维 — 旧金山  ## 目录 运维改进介绍－20 mins ## Uber派单系统 If you're not embarrassed by the 29a106/p9_1.jpg) ## 三 年来的运维强化(2016-2019) 架构调整: 多活, 容器化, 软件网络 部署管理: 自动化部署uDeploy 变更管理: P3系统 监控优化: M3监控系统, Blackbox外部监控 故障恢复: 自愈力和自动排障 流程优化: Ring0和Post Mortem ## 架构调整: All Active ## 程序层面复制 ->

Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 灰度验证 2019年初于生 数万台 服务器和ECS 超一万 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster 双十一 Kubernetes 实践 ## 资源分时调度 快速腾挪的问题 1. 实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性  ## 资源分时链路切换 分时调度控制器 资源及流量控制CRD 容量平台 资源控制

634812a02/p1_1.jpg) ## 链滴 ## consul 集群搭建 作者：boolean-dev 原文链接：https://ld246.com/article/1545917881597 来源网站：链滴 许可协议：署名-相同方式共享4.0国际(CC BY-SA 4.0) ## consul集群搭建 consul agent -data-dir /tmp/node0 -node=node0

# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE # MESOS Image credit: mesos.apache.org (http://mesos.apache.org/) 官方称之为分布式系统内核, 它把数据中心的 CPU、内存、磁盘等抽象成一个资源池 ## Mesos 调度  Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程 ![Image](/uploads/documents/5/8/6/6/58661163085e0ff55

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello ## 可执行文件 ## 可执行文件在不同的操作系统上规范不一样 Linux Windows Linux 的可执行文件 ELF(Executable and Linkable Format) 为例，ELF 由几部分构成： •ELF header Section header ☐Sections ## Entry point ## 操作系统执行可执行文件的步骤(以 linux 为例):

# 使用 Docker 建立 Mysql 集群 ## 软件环境介绍 操作系统：Ubuntu server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后创建的分支，性能上优于 MySQL 开源版本） ## 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 MYSQL_PASSWORD=medical_waste \ -e MYSQL_DATABASE=medical_waste \ -e TERM=linux \ -d mariadb ## 第三步 配置一主一从集群 ### 3.1 接下来启动另一个容器作为从数据库，因为镜像不支持在容器内进入 mysql 控制台，所以依然需要把端口暴露出来以供局域网访问，但主数据库容易可以链接进来作为一个可访问的主机 master master_log_pos=789; /*开启从数据库复制*/ start slave; 最后可以通过 show slave status; 查看同步情况。 至此我们就建立了一个基于 Docker 的 Mariadb 数据库集群。

jpg) ### OpenShift Container Platform 4.7 ## 更新集群 更新 OpenShift Container Platform 集群 Powered by TCPDF (www.tcpdf.org) 更新 OpenShift Container Platform 集群 Enter your first name here. Enter your surname Container Platform 集群的信息。更新集群的过程较简单，可以在不需要使集群离线的情况下进行。 ## 目录 第1章 了解 OPENSHIFT UPDATE SERVICE ..... 4 1.1. 关于 OPENSHIFT UPDATE 服务 ..... 4 1.2. 非受管 OPERATOR 的支持策略 ..... 4 第2章 更新集群概述 ..... 6 2.1 了解升级频道和发行版本 ..... 6 2.4. 使用 WEB 控制台更新集群 ..... 6 2.5. 使用 CLI 更新集群 ..... 6 2.6. 执行 CANARY ROLLOUT 更新 ..... 7 2.7. 更新包含使用 RHEL 的计算（COMPUTE）系统的集群 ..... 7 2.8. 更新受限网络集群 ..... 7 第3章 安装和配置 OPENSHIFT

jpg) ### OpenShift Container Platform 4.14 ## 更新集群 更新 OpenShift Container Platform 集群 Powered by TCPDF (www.tcpdf.org) 更新 OpenShift Container Platform 集群 ## 法律通告 Copyright $ \copyright $ 2024 Red Hat 摘要 本文档提供了有关更新和升级 OpenShift Container Platform 集群的信息。更新集群的过程较简单，可以在不需要使集群离线的情况下进行。 ## 目录 第1章 了解 OPENSHIFT 更新 ..... 3 1.1. OPENSHIFT 更新简介 ..... 3 1.2. 集群更新如何工作 ..... 7 1.3. 了解更新频道和发行版本 ..... 14 1 第2章 准备更新集群 ..... 23 2.1. 准备升级到 OPENSHIFT CONTAINER PLATFORM 4.14 ..... 23 2.2. 准备使用手动维护的凭证更新集群 ..... 27 2.3. PREFLIGHT 验证内核模块管理 (KMM) 模块 ..... 44 第3章 执行集群更新 ..... 48 3.1. 使用 CLI 更新集群 ..... 48

# 从百度文件系统 看大型分布式系统设计 颜世光 百度 搜索基础架构 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者 大会演讲视频信息 、集群调度系统（Galaxy）、分布式协调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署  Machine 1 ![Image](/upl