Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller-

Storage, DNS, Load Balancer, Security) master master api api © 2017 Rancher Labs, Inc. Kubernetes 1.7的扩展特性 • API aggregation(beta) • CustomResourceDefinitions(beta) • Support for extensible admission controllers

1 阿里云 — 云原生应用平台团队 孙健波/周正喜 基于 Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线，但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack 和 Addon 进行扩展 没有直接扩展 工作负载 和 运维能力 的途径 通过 annotations

Serverless：关注应用而非基础设施 敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 无资源闲置 Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless 与ECS并池：大规模资源池，弹性能力保障 • 在Kubernetes中使用ECI: ACK/ASK on ECI ECI ECI Agent Container Container Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 • “无限”容量 • 极致弹性 • ECI 和

17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云 的数字基础设施。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非

Platform》 2017 IEEE 2nd International Workshops on FASW 安全 能力扩展：弹性伸缩 Pod Pod Pod 微服务/通用服 务 Autoscaler controller prometheus Metrics-server APP弹性伸缩： • 主动扩缩容 • 扩容可以指定新版本 • 缩容可以定点裁撤 自动扩缩容 • 资源阈值 • 自定义指标阈值 Autoscaler controller Apiserver cluster-agent Cloud API 集群弹性伸缩： • 监控节点资源使用率 • 自动迁移低负载Node上的Pod，完成缩容 • 一定数量Pod因资源不足pending时，自动扩容 能力扩展：灰度升级 • 在GPU集群中有一个长时间服务应用prd-cloud-str-003-p40- cluster1。该应用 2018-02-09 09:33:02 开始pull V8版本的image PS：灰度升级属于原地升级，因此不需要重新过调度，升级的效率 也会提升。 每次升级可以选择要升级的实例个数以及具体哪些(个)实例。 能力扩展：存储场景 物理硬盘 cephFS ceph RBD ceph RBD 权限管理 quota 在线扩容 containe r containe r containe r 本地磁盘

⽹络管理 �.简介 �.操作说明 监控管理 �.简介 �.操作说明 （�）开启监控 （�）概览⻚监控查看以及资源介绍 （�）查看详细监控 命名空间管理 2 �.简介 �.操作说明 弹性伸缩 �. ⼯作原理 �.创建⾃动伸缩 案例--如何创建⼀个Nginx �. 创建⽆状态应⽤nginx �. 配置容器 �. ⾼级配置 �. 创建成功 案例--如何创建⼀个WordPress iii. 完成容器配置后，单击下⼀步。 iv. 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务 ⽀持容器组（Pod）的弹性伸缩，即根据容器 CPU 和内存资源占⽤情况⾃动调整容器副本数 量。 指标：可选 CPU 使⽤量和内存使⽤量，需要和设置的所需资源类型相同。 触发条件：资源使⽤率的百分⽐，超过设置的Pod request值，容器开始扩容。 基于Headless Service（即没有Cluster IP的Service）来实现，即Pod重新调度后 其PodName和HostName不变 有序部署，有序扩 展 即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进⾏（即从 0到N-1，在下⼀个Pod运⾏之前所有之前的Pod必须都是Running和Ready状 态），基于init containers来实现 33 b) 设置应⽤名称、集群

防部在 2023 年 2 月又发布了《国防云战略路线图》，该路线图明确定义了到 2025 年 的云愿景和战略成果，提供了建立国防云的实施路径，大力推动云 计算在英国国防现代化转型变革中的应用与扩展,明确了云是实现国 防数字骨干和数据战略的关键推动因素。澳大利亚明确云计算是推 进产业数字化转型的必由之路，在 2021 年 12 月份先后更新和发布 了其“数字政府”战略和首个《2023-2025 持 续交织发展放大赋能效用，以满足多样化用户群体的个性需求。云 计算充分发挥数字基础设施作用，全球厂商正积极基于云底座提供 全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 AI 大底座。 安全防护方面，云原生安全成为厂商抢占市场的新赛道。近年 术架构和运营管理模式，为云时代的软件工作组织提供应用交付和 管理服务。平台工程师提炼出一套可复用的组件服务和业务流程， 工程化运作成为平台产品，平台产品随着组织变化而演进，其各个 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台，是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面，容器云平台为开发者构建和运行分布式应用带来了 便利，但同时将复杂资源暴露给了开发者，知识门槛高，并且开发

高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 ），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 6 www.h3c.com Confidential 秘密 66 Kubernetes基础结构介绍 Kubernetes架构： 7 www.h3c

海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 数据管理 大数据 宿主机 • 容器 • 应用 • 业务 业务采集指标: • 访问量 • 错误率 • 调用耗时 • 饱和度 数据采集方式: • Push：非标 • Pull： • Filebeat扩展 数据存储方式: • OpenTSDB • Prometheus • ES 数据展现方式: • 自开发页面 • Kibana 海尔工业互联网 – 才云数据解决方案 Clever 1. 多集群多租户 2. CICD（github、gitlab，流水线配置） 3. 多镜像仓库（支持镜像同步） 4. 应用编排、模版、商店 5. 应用发布（灰度发布、滚动升级） 6. 应用弹性伸缩 7. 日志、监控告警 8. 配置管理 9. 多种存储（NFS、GlusterFS、Ceph、NAS） Compass Compass 支持边缘容器服务 1. 集群和边缘节点共享资源