Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

IO (include buffer IO) GPU 背景：广告业务，8个集群，4个在线集群，4个离线集群， 分布在四个地区：北京、天津、成都、深圳。 需求：减少机器，降低成本。 手段：在线离线集群做合并。 问题：容器只能管理CPU和内存，不能对网络和磁盘IO做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 自研容器网络解决方案Galaxy（CNI网络插件+调度器插件+控制器），面向所有场景： 高性能互联网业务、离线业务、在线离线混合场景、传统有状态服务、公有云… 性能 22190 7261 16462 4861 17442 5548 21461 6828 0 5000 10000 15000 应用内也可以同时又多个版本并行存在。充分保证现网的服 务质量以及版本的可控性。 能力升级：灰度升级 如左图所示，对某一个实例从v7升级到v8版本。 • 2018-02-06 11:46:38 V7版本开时候运行 • 2018-02-09 09:33:02 对该实例做灰度升级，从V7版本升级到V8 版本 • 2018-02-09 09:33:02 开始pull V8版本的image PS：灰度升级属于

SaaS PaaS IaaS 分层架构代表 openstack 内核架构代表 linux 我快黄了 我经久不衰 我一锅大杂烩 我高内聚高抽象 我装起来都费劲 我一键安装 我运行起来一堆问题 我小白都能稳定运行 我一堆模块 我大道至简海纳百川 不求最好，但求最贵 优秀还便宜 你真的需要虚拟机？真的需要 IaaS 层？ PaaS SaaS 有本质区别？鸭式辩型忘记了？ 云里面，一切皆应用才是王道。 云里面，一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 sealos 的能力 • 10 秒上线一个自带域名和 https 的 nginx 应用 • 其它应用同理如博客系统 低代 码平台等 java/go/python/node.js/html 轻松运行到 sealos 上 • 一个集群多个部门多个组 织共同使用 • 相互安全隔离 • 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 •

成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Insomnia 58. IntelliJ HTTP 客户端插件 59. KEDA 60. Kubeconform 61. mob 62. MobSF 63. Mocks Server 64. Prisma 运行时防护 65. Terratest 66. Thanos 67. Yalc 评估 68. ChatGPT 69. Codeium 70. GitHub 合并队列 71. Google Bard 72 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新 PR。 简而言之，团队必须完全相信，流水 线运行成功后，软件就可以投入生产。在这种情况下，依赖项更新 PR，即使它们在间接依赖项中包含主要版本 更新，也应该自动合并。 6. 针对 FAIR 数据的数据产品思维

logtail sshd monitor 业务 ssh 日志 监控 通过 Dockerfile 打包应用 镜像，一次定义多次运行 通过镜像提供的组装机制 打包应用镜像，包含业务 及运维基础设施进程 更进一步组合多个容器 为一个 Pod，Pod 一次 定义多次运行不可变基础设施 • 应用与运维基础设施容器分离 • 支持各自独立升级 • SidecarSetOpenKruise • AdvancedStatefulSet CPU精细化分配 应用互斥/亲和 维度：应用、核心应用 拓扑：单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略 2. 应用/单机打散策略 3. 应用互斥/亲和策略 4. …… Pod 1. CPU精细化分配 规模化容器调度 Agent Pod Pod Pod Node 离线数据统计 应用预估峰 CPU值CR Agent Pod Pod Pod Node Agent Pod Pod Pod Node Scheduler云原生应用管理演进路线云原生应用管理的特征 • 标准化 • 开放 • 一次定义，随处运行 https://openappmodel.io 联合推出 开放云原生应用模型OAM

# reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1.24版本开 始移除了dockerShim组件，不再支持docker，从而默认使用containerd作为底层 的容器运行时。 k8s 1.23及之前版本： kubelet→dockerShim→dockerd→containerd→runC 默认调用的cri-socket： inerd的命令行工具为ctr，而k8s v1.24之后版本又新 增额外的辅助工具crictl crictl是遵循CRI接口规范的一个命令行工具，通常用它来检查和管理kubelet节点 上的容器运行时和镜像。（支持containerd/docker/crio） ★安装crictl工具 默认随kubeadm一起安装了，在cri-tools-xxxx.x86_64.rpm这个包里，如果想单独 chown $(id -u):$(id -g) ~/.kube/config # kubectl get pod --all-namespaces #查看容器运行状态 如果有2个coredns的pod未启动就绪，因为pod网络组件还未部署，部署后再查 看；如果部署网络组件之后还未启动，则可能是网络不通，防火墙要放通pod 容器网段入站。 ⑤service使用ipvs模式

⽤用哪种⽹网络⽅方案，服务如何暴暴露露？ d. ⽤用哪种持久化存储？ e. ⽤用哪种操作系统？ a. 如何快速创建主机资源？ b. 如何实现⾃自动化⼀一键部署？ c. 怎么进⾏行行离线部署？ d. 快速部署常⻅见应⽤用并确保兼容性？ e. 是否可视化⻚页⾯面，部署⻔门槛？ a. 集群如何⽆无缝升级？ b. 集群如何快速扩容？ c. 监控、告警、⽇日志是否完善？ 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver 开源明星团队打造； • 遵循 Apache 2.0 开源许可协议 (github.com/kubeoperator)； 快速在 K8S 中部署和管理理 应⽤用程序 Multi-AZ ⽀支持 Master 节点分布在不不同的故障域 简单易易⽤用 通过 Web UI 来管理理和运营 K8S 集群 离线⽀支持 ⽀支持离线环境下的 K8S 集群 的部署与升级 GPU ⽀支持 轻松运⾏行行机器器学习、⾼高性能 计算等⼯工作负载 DIY ⽅方式 VS. 采纳 KubeOperator 3 个⽉月 +

云端且成本⾼高昂，数据在本地进⾏行行分析和过滤，节省⽹网络带宽。� ➔ 隐私安全：数据涉及到企业⽣生产和经营活动安全，在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治：不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 隐私安全 本地⾃自治 边缘计算应⽤用场景——智慧园区� ➔ 基于边缘计算打造智慧园区，通过视频监控+AI分析实现从⼈人防 现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力力、⼤大数据能⼒力力等延伸到边缘，解决与云上服务的数据协同、任务协同、管理理协同、安全协同诉求。� ➔ 通过数据本地化处理理、边缘节点离线⾃自治，解决了了云和边缘之间的⽹网络可靠性和带宽限制的问题。� ➔ 通过⼤大幅优化边缘组件的资源占⽤用(⼆二进制⼤大⼩小约46MB，运⾏行行时内存占⽤用约10MB)，解决了了边缘资源的约束问题。�

• 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes

Master是集群的控制节点，每个k8s集群中至少需要一个Master节点来维护整个集群的管理和控制，几乎所有的控制命 令都是发给它，它负责执行具体的动作。它很重要，如果它不可用，那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程： API Server API服务器（kube-apiserver）：提供HTTP Rest接口的关键服务，是k8s集群里所有资源的增删查改等操 作的唯一入口，也是集群控制的入口进 、API注册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-sch 集群的状态。 11 www.h3c.com Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的