深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 计算型混部任务 CSI CNI Device 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法

CoreOS 项目 简介 工具 快速搭建 CoreOS 集群 Kubernetes 项目 简介 快速上手 基本概念 kubectl 使用 架构设计 Mesos - 优秀的集群资源调度平台 Mesos 简介 安装与使用 原理与架构 Mesos 配置项解析 日志与监控 常见应用框架 本章小结 容器与云计算 简介 亚马逊云 腾讯云 阿里云 小结 5 1.24 开始安装。 运行 在 Windows 搜索栏输入 Docker 点击 Docker for Windows 开始运行。 Windows PC 47 Docker CE 启动之后会在 Windows 任务栏出现鲸鱼图标。 等待片刻，点击 Got it 开始使用 Docker CE。 Windows PC 48 镜像加速 鉴于国内网络问题，后续拉取 Docker 镜像十分缓慢，强烈建议安装 Docker "https://registry.docker-cn.com" ] } 编辑完成，点击 Apply 保存后 Docker 服务会重新启动。 macOS 对于使用 macOS 的用户，在任务栏点击 Docker for mac 应用图标 -> Perferences... -> Daemon -> Registry mirrors。在列表中填写加速器地址即可。修改完成之后，点击 Apply

their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. 非抢占优先级类（技术预览） 2.9.2.2. Pod 抢占和其他调度程序设置 2.9.2.3. 安全终止被抢占的 pod 2.9 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 POD 放置 3.2.1. 了解默认调度 3.2.1.1. 了解调度程序策略 3.2.2. 创建调度程序策略文件 3.2.3. 修改调度程序策略 51 51

their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. Pod 抢占和其他调度程序设置 2.9.2.2. 安全终止被抢占的 pod 2.9.3. 配置优先级和抢占 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 POD 放置 3.2.1. 了解默认调度 3.2.1.1. 了解调度程序策略 3.2.2. 创建调度程序策略文件 3.2.3. 修改调度程序策略 3.2

.................................................................................... 18 4.2.3 分析任务兼容性分析及转换........................................................................................... ................................................................ 55 8.1 【场景 1】Hive 数据和 Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 ..................................................................... 57 8.1.6 批量迁移 Oozie 工作流和节点任务 ................................................................................... 57

于运行和管理虚拟机工作负载以及容器工作负载。 OpenShift Virtualization 通过 Kubernetes 自定义资源添加新对象至 OpenShift Container Platform 集群 中，以启用虚拟化任务。这些任务包括： 创建和管理 Linux 和 Windows 虚拟机 通过各种控制台和 CLI 工具连接至虚拟机 导入和克隆现有虚拟机 管理虚拟机上附加的网络接口控制器和存储磁盘 在节点间实时迁移虚拟机 spec.volumes.containerDisk.path 字段 的值设置为绝对路径。然后您可以更新 OpenShift Virtualization。 如果单个节点包含超过 50 个镜像，pod 调度可能会在节点间进行平衡。这是因为节点上的镜像 列表默认简写为 50。(BZ#1984442) 作为临时解决方案，您可以通过编辑 KubeletConfig 对象，将 nodeStatusMaxImages HostPathProvisioner 对象，或使用 web 控制台进行配置。 警告 警告 您必须将 hostpath 置备程序和虚拟化组件调度到同一节点上。否则，使用 hostpath 置备程序的虚拟化 pod 无法运行。 根据对象，您可以使用以下一个或多个规则类型： nodeSelector 允许将 Pod 调度到使用您在此字段中指定的键值对标记的节点上。节点必须具有与所有列出的对完全 匹配的标签。 关 关联 联性 性

区块链等技术的跨境贸易。 云计算白皮书（2023 年） 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核，对获评 省级制造业“云上企业”给予 15 万元的奖励，其中已评为省级标杆 上云企业的减半奖励。 2022.6 《加强科技创新助力经济稳进提 质的若干政策措施》 支持平台企业技术创新。支持平台 厂商均在金融领域有落地实践，通过灵活调度云资源，保障多样化 金融业务在云上平滑运行；中国电子云、天翼云、移动云、联通云、 华为云等厂商均在政务领域有落地实践，利用一云多芯技术打造具 有安全性和高效性的政务云平台。同时，一云多芯已逐渐完成从底 层硬件至上层云原生应用的多芯全栈式适配兼容。作为 IT 产业发展 承上启下的关键环节，一云多芯不仅可以对底层各种异构资源统一 调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可

s 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所

2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106 双11、618可以动 态增加服务器 Hadoop102 Hadoop103 Hadoop104 Hadoop优势（4高） 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 4） 4）高容错性：能够自动将失败的任务重新分配。 Hadoop102 Hadoop103 Hadoop104 Hadoop101 单台服务 器工作 计算任务 集群工作 计算子任务 计算子任务 计算任务汇总 Hadoop102 Hadoop103 Hadoop104 计算子任务 计算子任务 计算任务汇总 计算子任务 尚硅谷大数据技术之 Hadoop（入门） MapReduce（计算） HDFS（数据存储） Yarn（资源调度） Common（辅助工具） MapReduce （计算+资源调度） HDFS（数据存储） Common（辅助工具） Hadoop1.x组成 Hadoop2.x组成 在 Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。 在Hadoop2.x时代，增 加了Yarn。Yarn只负责