GPU Resource Management On JDOS 梁永清 liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务 • 将旧的加速计算应用程序容器化，并部署 在较新的系统或者云环境中。 • 将特定的 GPU 资源分配给容器，以获得 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 Fuxi容器存储：实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI ：更快的弹性，更高的资源利用率 持续发布： 小时级->分钟级 弹性伸缩： 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 升50% 挑战 收益 传统虚机应用上线慢 业务扩容时间长 同业务压力下资 源利用率低 传统虚机应用交 互性能低 • 应用可以基于容器镜像一站式自动化“构建发布上线” • 应用快速上线、扩容、升级，秒级弹性扩缩容 • 基于容器更细粒度共享，提升资源利用率 16 支持多租隔离、租户内部各用户之间的权限隔离，基于组织提供 镜像的访问权限管理 安全保障 组织级别隔离及镜像粒度权限控制，共同保障镜像安全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署

应用互联互通 应用形态复杂 • KPI: 峰值CPU利用率不低 于30% • 资源申请：按峰值30%进 行申请 • 峰值：1000TPS, 平时： 100TPS • 做自己擅长的事情，合作 方式开发 • 产品迭代：如何持续演进 和优化 • 外包管理：如何标准化降 低管理成本，提高质量 外包开发模式 资源利用率KPI 01 04 02 03 海尔集团业务转型 提交多框架（TensorFlow、PyTorch 、MxNet等）的模型训练作业，支 持分布式和 GPU 加速，以及训练过 程的可视化。 模型训练 模型版本管理，模型推理服务的部署 、监控、管理和升级，提供 A/B test 和滚动升级。 模型服务 实现对 GPU 集群资源进行管理，根 据用户作业请求自动分配和回收 GPU 资源。 GPU 集群管理 对接存储系统，管理数据集；提供 notebook 交互式代码开发和调试工

提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU, 昇腾，昆仑等。 Volcano Global Kubernetes Volcano-controller Volcano-scheduler Kubernetes Volcano-controller Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用

关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT我是谁挑战在哪里？ 极限并发 人为失误 系统瓶颈 雪崩 单点失效 成本控制 用户体验 最终一致性 稳定性 资源不足 资源利用率 安全风险备战工具箱 服务化 开发运维一体化 弹性 极致性能 高可用 全站上云 安全加固 人工智能 大数据 离线计算 全链路压测 边缘计算 敏捷调度 故障演练人为失误 yers-regional- outlook-and-forecast-study/492024云边端一体化协同双十一直播的背后 50% 5倍在线与离线 异构计算能力 ECS, EBM, GPU, FPGA, ECI 高性能网络 VPC, ENI, RDMA, SLB, DNS Public Cloud Edge Computing Private Cloud 高性能存储 EBS 全球化部署 单集群万节点规模 云边端一体化 延时降低75% 混合云2.0架构 交付效率提升3倍 全链路安全架构 实时风险监测、告警、阻断 极速弹性 分钟级1000节点伸缩 异构算力 利用率提升5倍 沙箱容器 强隔离，90%原生性能 容器云应用市场 合作伙伴计划 阿里云容器服务Thank you ! 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT

OpenShift Container Platform 实现中，它通过扩展计算机器 设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群： 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线 设置扩展策略，以便您可以扩展节点，但不会缩减节点 机器健康 机器健康检查 值，不要为 Spot 实例设 置最大价格。 2.2.7. 将 GPU 节点添加到现有 OpenShift Container Platform 集群中 您可以复制并修改默认计算机器集配置，以便为 AWS EC2 云供应商创建启用了 GPU 的机器集和机器。 有关支持的实例类型的更多信息，请参阅以下 NVIDIA 文档： NVIDIA GPU Operator 社区支持列表 NVIDIA AI Enterprise MachineSet 定义并将结果输出到 JSON 文件。这将是启用了 GPU 的计算机器集定义的基础。 5. 编辑 JSON 文件，并对新 MachineSet 定义进行以下更改： 将 worker 替换为 gpu。这将是新计算机集的名称。 将新 MachineSet 定义的实例类型更改为 g4dn，其中包括 NVIDIA Tesla T4 GPU。要了解更 多有关 AWS g4dn 实例类型的信息，请参阅加速计算。

maxScale 设置。 并 并发 发目 目标 标 决定了给定时间每个应用程序实例所需的并发请求数。 并 并发 发限制 限制 决定了给定时间允许每个应用程序的并发请求数的限值。 并 并发 发利用率 利用率 决定了在 Knative 扩展额外 pod 前必须满足并发请求限制的百分比，以处理额外 的流量。 自 自动扩 动扩展窗口 展窗口定义了平均时间窗口，以便在自动扩展器不处于 panic 模式时提供缩放决策的输 requests 和 limits。目前，扩 展资源只允许使用带有前缀 requests. 配额项。以下是如何为 GPU 资源 nvidia.com/gpu 设置资源配额 的示例场景。 流程 流程 1. 确定集群中某个节点中有多少 GPU 可用。例如： 输 输出示例 出示例 本例中有 2 个 GPU 可用。 2. 在命名空间 nvidia 中设置配额。本例中配额为 1： 输 输出示例 出示例 resourcequota 'Capacity|Allocatable|gpu' openshift.com/gpu-accelerator=true Capacity: nvidia.com/gpu: 2 Allocatable: nvidia.com/gpu: 2 nvidia.com/gpu 0 0 # cat gpu-quota.yaml apiVersion:

性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可 以对不同芯片进行调优适配，提升平台整体性能。通过虚拟化产品 云计算白皮书（2023 年） 27 向下来看，算力资源呈现出计算异构、算网融合的特点。以 GPT-4 为例，其模型训练借助公有云能力在通用 CPU 的基础上整合 上万个 GPU 芯片，通过云计算平台实现 GPU 集群和 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 样性算力资源池的能力，高性能计算云平台（HPC）、FPGA 云主机、 GPU 云主机、智算平台等多样性算力资源均通过云的方式统一接入， 极大地丰富了科研机构、企业、高校以及个人触达算力的便捷性与 普惠度。同时，东数西算、大模型训练等场景带来了多样性数据， 也催生了可高效满足不同业务诉求的多性化计算架构，如 ARM、 RISC-V 等通用计算技术路线，以及 GPU、DPU、NPU 等融合架构 计算平台，云计算使

n会话） ✓ 系统部署架构及当前生产高可用方案 ✓ 系统目前日常及特殊高峰期资源使用情况（CPU、内存等） ✓ 系统当前发布方式（是否已实现持续集成或构建管理） ✓ 是否有特定的操作系统、GPU或其他底层资源依赖 ✓ 系统间集成方式（应用层集成、数据库层集成） ✓ 业务场景及用户使用情况（用户数、并发数、集中时间段） ✓ 系统目前是否有已知的安全漏洞及修复计划 ✓ 是否可允许停机升级、停机升级窗口时间段及时长 All Rights Reserved. Confidential 服务质量QoS QoS 是服务质量（Quality of Service）的缩写，为保证集群资源被有效调度分配的同时提高资源利用率，Kubernetes针 对不同服务质量的预期，通过 QoS 来对Pod进行服务质量管理。对于Pod而言，服务质量体现在两个具体的指标：CPU 和 内存，当节点上资源紧张时，Kubernetes