## 深入 Kubernetes 的 “无人区” —— 蚂蚁金服双十一的调度系统 曹寅 ## 目录 contents 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 ## 一、 蚂蚁金服的Kubernetes现状 ## 发展历程与落地规模 ## 平台研发 2018年下半年开始投入 Kubernetes 及其配套系统研发 ## 2019年4月完成云化环境适配，蚂蚁金服云上基础设施全部采用 Kubernetes 支撑618 2019年7月到双十一前完成全站 Kubernetes 落地，超过90%的资源通过 Kubernetes 分配，核心链路100%落地支撑大促。 ## 大促规模 ## 数万台 服务器和ECS 超一万 单集群规模 ## 90%+ 应用服务 ## 数十万 应用 Pods ## 统一资源调度架构 在线应用 数据库服务 OB OB serverless 平台 SOFAMesh 资源分时复用 计算型混部任务 业务 Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化服务 Cluster Control Panel 蚂蚁 k8s 核心 CRI CSI CNI Device Plugin runc nanovisor kata

# 基于 mesos 的容器调度框架 Gopher 杭州 meetup 5 August 2017 黄励博(huangnau) 又拍云 ## What's Upone UPONE ## demandporn 10 repo.upyun.com:5043/demandpom:v0.0.17 CPU: 1.0 MEM: 2560.0M Disk: 0.0G Net: BRIDGE ## Mesos 调度  各个 Agent 启动后, 向 Master 注册, 携带统计资源, 由 Master 决定给每个框架多少资源, 默认采用分级主导资源公平算法 每个框架收到资源后, 根据自身任务需求, 调度任务的资源分配 ## ## MARATHON + CHR + ? 为云处理服务定制的容器调度框架，支持长期服务和定时任务 ## 处理流程  Image credit: dcos architecture (https://dcos.io/docs/1.7/ove

## GCN ## Go 语言的抢占式调度  曹春晖 资深 Gopher  Go 程序的启动 01 GMP 的本质 02 调度循环的实现 03 老版本的抢占实现 04 新版本的抢占实现 05 当前的 Go 语言还有哪些问题 06 ## 第一部分 ## Go 程序的启动 ## 编译过程 ### Go 程序 hello.go 的编译过程： ●●● package main func main() { println("hello entrypoints rizin ## 启动过程 ## 通过 entry point 找到 Go 进程的执行入口 runtime.rt0_amd64_linux 开始执行用户main函数 从这里开始 进入调度循环 runtime.rt0_go runtime.rt0_amd64 初始化内置数据结构 runtime.rt0_go 全局 $ m_{0} $ g $ _{0} $ 初始化 获取CPU核心数

## 感谢聆听！ 唯品会开源弹性调度系统 Saturn的“前世今生” 邱戈川（了哥） 微信公众号： VIPDOCK  黄国钦 (Chembo) 唯品会高级开发工程师 ## 内容主题 为何而生 GitHub 有女初长成 女大须嫁 jpg) ## 传统调度系统的问题、产品的定位与选型 ## 需要解决的问题 异构 / 多语言难以支持 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可用 难以问题追踪 5 无法合理利用机器资源 缺乏分布式处理 ## 选型对比 Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 阿里早期开源的分布式任务调度系统，代码略陈旧 关注点在定时任务而非数据， 缺少分布式并行调度的功能 Elatic-Job 当当开源的分布式任务调度系统 代码较新，使用Quartz进行调度。提供 高可用和分布式功能 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 ## 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Ja

support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ☐ POCs/Training ## What is Kubernetes? ## “Kubernetes is the new Linux” Actually it’s an open-source ClickHouse on Kubernetes? Other applications are already there Easier to manage than deployment on hosts Bring up data warehouses quickly Portability ## I s it easy to run ClickHouse on Kubernetes? ## NOT REALLY ## Challenges running ClickHouse on Kubernetes? 1. Provisioning 2. Persistence 3. Networking 4. Transparency ALTINITY CLICKHOUSE OPERATOR for Kubernetes ## The ClickHouse operator turns complex

## Altinity ## ClickHouse on Kubernetes! Alexander Zaitsev, Altinity Limassol, May 7th 2019 ## Altinity Background ● Premier provider of software and services for ClickHouse • Incorporated in UK with Offerings: ☐ 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ☐ POCs/Training ## “Kubernetes is the new Linux” Actually it’s an open-source platform to: [Image](/uploads/documents/2/1/8/d/218d81a74f32d5934a3e909a7234c6df/p3_1.jpg) ## Why run ClickHouse on Kubernetes? 1. Other applications are already there 2. Portability 3. Bring up data warehouses quickly

# Kubernetes 入門 ### 1.1 Kubernetes 是什麼？ Kubernetes 是什麼？ 首先，它是一個全新的基於容器技術的分散式架構解決方案。這個方案雖然還很新，但它是 Google 十幾年來大規模應用容器技術的經驗累積和演進的一個重要成果。確切地說，Kubernetes 是 Google 嚴格保密十幾年的秘密武器——Borg 的開源專案版本。Borg 是 Google 的內部設計，所以外界一直無法瞭解它的相關資訊。直到 2015 年 4 月，傳聞許久的 Borg 論文伴隨著 Kubernetes 的發布宣傳被 Google 首度公開，大家才得以瞭解它的更多內幕。正因站在 Borg 這個前輩的肩勝上，吸取了 Borg 過去十年間的經驗與教訓，所以 Kubernetes 一經開源就一鳴驚人，並迅速席捲了容器技術領域。  圖 1.3 Kubernetes 部署架構圖 #### 1.3.1 建立 redis-master Pod 及服務 我們可以先定義 Service，然後再定義一個 RC 來建立和控制相對應的 Pod，或者先定義 RC 來建立 Pod，然後定義與其關聯的 Service，這兩種方式最終的結果都一樣，這裡我們採用後面這種方式。

## Автоматизация управления ClickHouse-кластерами в Kubernetes Владислав Клименко и Валерий Панов HighLoad Siberia 2019 Профессиональная конференция для разработчиков высоконагруженных систем THE ClickHouse в Kubernetes? • Все компоненты системы уже в к8s. • Максимальная унификация управления. • Нужно быстро строить хранилища данных. • Нужна максимальная переносимость. ## ClickHouse в Kubernetes – это ClickHouse + Kubernetes ## ClickHouse в Kubernetes? Что будем делать?  ALTINITY CLICKHOUSE OPERATOR for Kubernetes HighLoad

## Serverless Kubernetes: Container in Cloud Native Way 阿里云容器服务团队 张维 KUBECON CHINA 2018 ## 应用部署演化：Going native with cloud ## Serverless Computing | |Azure Container Instances|![ Serverless Kubernetes|阿里云|2018.5|Y| ### Serverless Kubernetes vs. 传统Kubernetes集群 经典Kubernetes容器服务 - 按照集群节点数量付费 Serverless Kubernetes容器服务 - 按照应用使用资源付费 - 无需管理服务器节点 经典Kubernetes集群 容器调度与编排 容器调度与编排 ECS

QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 ## 引言：外卖配送的背后  ## 引言：外卖订单调度系统要考虑的因素  ## 订单相关 [Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p4_3.jpg) ## 一 ．外卖订单的智能调度系统 ### 二. 智能调度系统的大数据分析监控 ### 三. 智能调度系统中的人工智能 ## 提纲 ![Image](/uploads/documents/a/a/4/e/aa4e49cfa61606eb57df64b13fa12217/p5_1