Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层

路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel.yml里指定vxlan绑 定的网卡设备（不建议直接绑定网络接口名，因为不同的服务器接口名称可能 不一样，可匹配ip网段所在的网络接口） # kubectl delete -f kube-flannel.yml #先删除旧的部署 然后客户端就可使用h�ps://web.xxx.com: 去访问目标服 务了 ★第9章、存储卷 pod里的容器在运行结束后，其数据无法持久存在，得额外挂载一个外部存储 文件系统，即存储卷，存储卷是pod内所有容器都可挂载的共享目录。k8s支持 node结点本地存储以及网络存储 node本地存储：emptyDir hostPath vc与pv是一一对应关系，每 个PV只可给一个pvc使用 pv和pvc的存储空间只是申请的大小，不是后端存储实际大小，后端存储实际大 小可小于pv的大小 pv要大于等于pvc的大小，pvc申请到pv绑定到pv后，大小也变为pv的大小了 PV是集群级别的资源，不属于任何名称空间；用户需要通过PVC向PV提出使用 申请，最终的容器是与pvc关联的 pvc有命名空间之分，pv不分命名空间 ★创建存储类SC

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后 程序以及集群本身。 Container Resource Monitoring（容器资源监控） Container Resource Monitoring 将容器的通⽤时序指标记录到⼀个中⼼化的数据库中，并提供⼀个UI以便于浏览该数 据。 Cluster-level Logging（集群级别的⽇志） Cluster-level logging 机制负责将容器的⽇志存储到具有搜索/浏览界⾯的中央⽇志存储中去。

容器服务。 ⾸云⽀持 集群管理操作，包括集群创建、删除和控制台访问集群 需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 使⽤ NAS盘⼀旦卸载，会导致该集群内所有依赖该存储的POD的PV皆不可⽤，请谨慎操作 卸载需要邮箱验证 删除NAS盘 16 对于已经卸载的NAS盘，可以永久删除 删除后的NAS盘，所有数据均会被删除，且⽆法找回，请谨慎操作 删除需要⼿机或邮箱验证 创建存储类 点击存储->存储类->新建存储类，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储类 创建存储类的参数如下配置： 选择集群：选择配置存储类到哪个容器集群 存储卷回收策略：Retain，PVC被删除后，保留对应的PV；Delete，PVC被删除后，删除对应 的PV 数据保留策略：当PV被删除后，如果数据保留策略为 true ，则归档相关数据，归档名称为 archived-原pv使⽤⽬录名称-时间戳 ； 如果为 false ，则直接删除该pv所使⽤的数据 17 删除存储类 查看存储类 在存储类列表中，点击详情，可以查看存储类相应信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式

小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Pinecone）由于大语言模型而重新流行起来。大语言模型的底层能力，包括更专业化和自行托管的能力， 将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模

年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 2014年-今 2015年-今 自研容器云平台 腾讯大数据云 通用云平台 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化，点分隔改为了下划线分隔 • 容器标签发生变化 pause容器的标签io restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX Network RX Disk IO (include

Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： K8s基本概念和术语介绍（Pod） Pod： pod分两种：普通pod和静态pod（static pod） 普通pod：一旦被创建，会被放到etcd中存储，随后被k8s master调度到某个具体的node上并进行绑定，随后该pod被 对应的node上的kubelet进程实例化成一组相关的docker容器并启动起来。默认情况下，当pod中的某个容器停止时， K8s会自动检测到这个问题并重新启动这个pod（重启po Kubernetes，API 对象已 经被创建并保存在 Etcd 当中。但是，这个 Pod 里有些容器因为某种原因而不能被顺利创建。比如，调度不成功。 2.Running。这个状态下，Pod 已经调度成功，跟一个具体的节点绑定。它包含的容器都已经创建成功，并且至少有一个正 在运行中。 3.Succeeded。这个状态意味着，Pod 里的所有容器都正常运行完毕，并且已经退出了。这种情况在运行一次性任务时最 为常见。 4

运行时规范（runtime-spec • Image 规范（image-spec Container 管理工具 (User Space) 如何通过 Docker 启动 Container 并与硬件绑定 官方文档参考： https://docs.docker.com/engine/admin/resource_constraints/ Kubernetes 架构 Kubernetes AI 具体应用场景 机器学习 vs 深度学习 • 机器学习是指通过算法，对数据进行分析，最终得出判断。 • 深度学习是指通过人工神经网络，通过对数据进行分析学习， 最终得出判断。 • 机器学习最难的地方在于特征的提取，而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 在非结构化数据方面有很大的优势。 卷积神经网络 - CNN 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存 储进行统一的管理和 操作 数据预处理 AI 工程师的大部分工作都是在 做数据预处理的部分，而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用