Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller-

Storage, DNS, Load Balancer, Security) master master api api © 2017 Rancher Labs, Inc. Kubernetes 1.7的扩展特性 • API aggregation(beta) • CustomResourceDefinitions(beta) • Support for extensible admission controllers

1 阿里云 — 云原生应用平台团队 孙健波/周正喜 基于 Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线，但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack 和 Addon 进行扩展 没有直接扩展 工作负载 和 运维能力 的途径 通过 annotations

技术雷达 第 29 期 | 2023 年 9 月 © Thoughtworks, Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights 的首席技术官 Rachel Laycock 和名誉首席技术官 Rebecca Parsons 提供咨询建议。 作为一个综合型组织，TAB 能够审视影响 Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组： 边晓琳、陈亮、程显通、樊田、樊卓文、冯炜、符雨菡、高晓、管英杰、何蜜、何蔚、何向东、纪扬、郏李鹏、 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 2003 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现代工具和技术，它们采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架

阿⾥对解耦研发和运维的实践与教训 • 标准化、统⼀化的应⽤管理 阿里巴巴大规模容器化基础设施 新挑战 • 研发：Kubernetes API 太复杂？ • 运维：如何上手 Kubernetes 的扩展能力？ • 如何通过 Kubernetes 全面管理云资源（含虚拟机、VPC 等）？ K8s API 太复杂？ All in one。 思考题： 对于一个 K8s 应用的描述，大家的关注点是？ K8s 扩展能力的真实情况 我的 Zookeeper 该用 哪种K8s Workload 接入？ 你恐怕得写个 Operator…… Operator是啥？ CRD Controller Informer Reflector Event Handler Loop … 我们业务压力大. 一定要学这些么…… 那好吧, 我们帮你写…. 业务方运维 K8s 团队 运维如何上手K8s的扩展能力？ 运维如何上手K8s的扩展能力？ 举例：CronHPA • 运维同学怎么知道这个扩展能力怎么用？ • 看 CRD？看配置文件？看 …… 文档？ • 扩展能力间出现冲突，导致线上故障 • 比如：CronHPA 和 默认 HPA 被同时安装给了同一个应用 • K8s 扩展能力之间的冲突关系，如何有效管理？如何有效的对运维透出？ K8s 如何管理描述云资源？ 太好了，我还需要启动一个 RDS, 能跟 helm一起打包吗？

Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes 您也可实现⾃⼰的定制 PaaS，与您选择的CI系统集成，或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上运⾏，因此它提供了PaaS产品通⽤的功能，例如部署，扩展，负载均衡， ⽇志和监控。然⽽，Kubernetes并不是⼀个单体，这些默认解决⽅案是可选、可插拔的。 另外Kubernetes不仅仅是⼀个编制系统 。实际上，它消除了编制的需要。编制的技术定义，就是执⾏定义的⼯作流：

高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 ），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 6 www.h3c.com Confidential 秘密 66 Kubernetes基础结构介绍 Kubernetes架构： 7 www.h3c

研发与运维人员日益增长的应用管理诉求 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 而且，PaaS 还面临着严重分化 PaaS A Kubernetes PaaS B PaaS C 研发效率 学习成本 同一个公司内数个 PaaS on Kubernetes 思考： 1. 基于 Kubernetes 2. 用户友好、高可扩展 3. 统一、标准化 理想中的应用管理平台 Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师 Controller 目标二：一个高可扩展的应用管理平台 关键词：可插拔，可扩展，模块化，没有抽象程度锁定 应用 Deployment Knative Service Function 抽象程度：高 抽象程度：低 发布策略 扩容策略 $ helm Platform Kubernetes GitOps/持续集成 标准化定义应用组件 标准化配置应用运维能力 标准化管理 k8s 能力插件 业务运维 业务研发 平台工程师 统一、标准、高可扩展的云 原生应用管理平台 Component Trait 能力注册与管理 应用 Component Deployment Function apiVersion: core.oam.dev/v1alpha2

17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助 间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵 用门槛。 微服务网关 微服务网关肩负管理微服务南北流量管控的重要作用，提供 API 管理、接口 限流、多种策略安全认证、黑白名单、路由转发、MockAPI 等能力，同时提供 企业级高性能和高扩展的云服务能力。 ➢ 多网关管理：原生支持对容器管理模块中的多集群、多命名空间的网关实例进行管 理，支持网关实例的全生命周期管理。 ➢ API 策略管理：通过图形化界面进行 API 的增删改查，配置

公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2 多分片并发读 通过并发，大大减少读时延 读优化 - 3 读写分离 follower 可以无限扩展，没有 raft 同步问题 读写之间无相互影响 读优化 - 4 Count 优化 基于周期性 Compact 统计，存在内存 降低时延，减轻存储压力 Watch 优化 - 1 写性能提升带来直接收益 Kubernetes 本质是一个最终一致性的系统 • 关注单个对象的最终状态 • 分片多点写，避免写单点 • 分片内部消息严格有序 • 分片间消息可以乱序 • 读、写、watch 能力均可以水平扩展 欢迎交流 联系邮箱: xuchen.xiaoying@bytedance.com 扫码关注 KubeBrain: