Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层

如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 service3 … jenkins 用户中心数据库 API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 数据依赖成本高 所有存储都是独立搭建的 集群规模大，运维工作量大 环境数目越多，资源成本，维护成本越高 挑战 P-3 多环境优化实战 ‣ 为什么要多环境访问严格隔离 ‣ 如何借助多云保证有状态服务高可用 ‣ 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用

Hui Chi , Kai Chen 今日话题 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 持续构建与测试 保障代码质量，提升开发效率 知识共享 知识共享与积累，不断完善，持 续学习改进 认证与改进 持续优化， 形成闭环 运维监控 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施

弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 Flannel负责在容器集群中的多个节点之间提供第3层IPv4网 络。 工作模式： 1.vxlan 通过封装协议解包收发包mtu1450，vxlan可以在分 布多个网段的主机间构建2层虚拟网络 。 2.host-gw 通过宿主机路由同步收发包，必需工作在二层。 1.系统启动，flanneld下发docker子网配置，docker启动获 取子网配置生成docker0 生成gateway网卡; 2.node1，node的kubelet收到指令创建一个新的pod容器; ; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题 我是作者名称 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试 结论： tcp延迟

小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Pinecone）由于大语言模型而重新流行起来。大语言模型的底层能力，包括更专业化和自行托管的能力， 将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利 加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 © Thoughtworks 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模

商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 序，人体健康监测，大数据分析等生物健康产品及解决 方案。 挑战： • 全基因测序原始数据约100GB/人，数据分析性能要 求高 • 测序需求多样，测序流程难以灵活自定义 基于容器的生物信息分析平台 • 结合FPGA加速计算可进一 步压缩成本 基因测序（测序仪） 数据上传 源数据 存储 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地 自动化部署 数据库 SFS/OBS

接为明文 TCP Ø要把服务器证书配置到HAProxy上 OpenStack里MySQL Galera 集群高可用 Ø问题 Ø异步多主多活情况下会出现数据 不一致 Ø同步多活情况下容易出现死锁 Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 ØKubernetes+OpenStack=容 器和虚拟机组合服务 ØKubernetes专为生产环境打造 的容器集群系统 Ø支持多租户的网络解决方案： 租户隔离、负载均衡、外网访 问、端口映射、二级域名 轻元数据中心操作系统 http://www.qingyuanos.com/opening.html sales@qingyuanos.com xwang@qingyuanos.com

企业级产品与解决方案 • Compass: 打通业务与数据、从数字化到智能化转 型 • Clever: 基于容器的 AI PaaS 平台（AI Devops、资 源管理任务调度） 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 > 150 国家 研究内容 代表成果 政策扶持 工业互联网综合平台，采用数据流打通与 数据分析衍生价值的结构 Predix平台 GE联合AT&T 发布参考架构IIRA. 基于云的开放式物联网操作系统，实现全 面的系统集成和数据融合，打破数据孤岛 Mindsphere平台 德国联邦政府支持相关行业协会建设工业4.0平台，负 责工业4.0国家战略的宣传推广，标准制定，人才培养 和技术研发。 以工业大数据为驱动，以云计算，大数据， 物联网技术为核心的工业互联网开放平台， 实现产品，机器，数据，人的全面互联互 通和综合集成 INDICS平台 根云平台 COSMOPlat平台 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 数据管理 大数据 机器学习 资源管理 深度学习 AI工具 API IOT中台 面向行业解 决方案 边缘计算 数据通道 数据分析 API 海尔工业互联网 - 微服务之框架支持 Netflix Config Server （git based）