Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller-

Storage, DNS, Load Balancer, Security) master master api api © 2017 Rancher Labs, Inc. Kubernetes 1.7的扩展特性 • API aggregation(beta) • CustomResourceDefinitions(beta) • Support for extensible admission controllers

1 阿里云 — 云原生应用平台团队 孙健波/周正喜 基于 Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线，但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack 和 Addon 进行扩展 没有直接扩展 工作负载 和 运维能力 的途径 通过 annotations

创建集群 装其它应用 增删集群节点 离线交付 sealos build 轻量级负载均衡器 完全取代 Haproxy Keepalived 支撑超大规模 完全横向扩展 Sealos 绝大多数能力通过 CRD 扩展，以保持与 kubernetes API 完全兼容。 可以复用 k8s API 的强大能力， 而且生态的各种 SDK 可以直 接使用。 推荐使用 kubebuilder 框架去生 权限限制 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的 User Namespace N 对 N 横向隔离 & 纵向隔离 逻辑隔离 & 物理隔离 选型 原因 编程语言 Golang/typescripts Kubernetes go 生态最为成熟，ts 主要前端 框架 Kubebuiler/r

公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2 多分片并发读 通过并发，大大减少读时延 读优化 - 3 读写分离 follower 可以无限扩展，没有 raft 同步问题 读写之间无相互影响 读优化 - 4 Count 优化 基于周期性 Compact 统计，存在内存 降低时延，减轻存储压力 Watch 优化 - 1 写性能提升带来直接收益 Kubernetes 本质是一个最终一致性的系统 • 关注单个对象的最终状态 • 分片多点写，避免写单点 • 分片内部消息严格有序 • 分片间消息可以乱序 • 读、写、watch 能力均可以水平扩展 欢迎交流 联系邮箱: xuchen.xiaoying@bytedance.com 扫码关注 KubeBrain:

17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助 间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵 能力。 应用管理 ➢ 一站式部署，解耦底层 Kubernetes 平台，一站式部署和运维业务应用，实现应用的 全生命周期管理。 ➢ 应用负载的弹性伸缩，支持应用负载的手动/自动扩缩容，支持横向伸缩、纵向伸缩、 以及定时伸缩，从容应对流量高峰。 ➢ 应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理

高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 ），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 6 www.h3c.com Confidential 秘密 66 Kubernetes基础结构介绍 Kubernetes架构： 7 www.h3c

需求驱动，勿求大而全，没有银弹 从用户的角度思考 简单，学习成本低，改变成本小 从技术的角度评估 从成本方面衡量 资源利用率，人力成本，投入产出比 从长远技术方向考虑 未来方向，新技术潮流，公司战略 高效，稳定，可扩展 9 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 后端 Router 选择应用类型/模板 配置应用 上传包 打包镜像并部署 完成部署上线 23 2017 Lenovo Internal. All rights reserved. Showcase • Scale Out横向扩展：简单，快速 {“spec”:{ “replicas”:"6"}} 24 2017 Lenovo Internal. All rights reserved. Showcase • 滚动更新：实时查看更新进度

. 北北京 UCloud Container Service for Kubernetes （UK8S） 是⼀一项基于Kubernetes的容器器管理理服务，你可以在 UK8S上部署、管理理、扩展你的容器器化应⽤用，⽽而⽆无需关 ⼼心Kubernetes集群⾃自身的搭建及维护等运维类⼯工作。 UK8S UK8S完全兼容原⽣生的Kubernetes API，以UCloud私有 ⽹网络为 B. 所有管理理服务全部运⾏行行在k8s上。 C. 基于k8s的api对服务模块（job&watcher）进⾏行行动态管理理。 D. ⼀一个集群对应⽣生成⼀一个watcher，容易易进⾏行行横向扩展。 E. 基于watcher+redis缓存的⽅方式，保证⽤用户在控制台获取集群信息的速度⾜足够快。 Think in Cloud . 北北京 UK8S托管⽅方案 合理理利利⽤用存量量物理理资源

WebAssembly（WASM）运行时。尽管运行时本身与语言无关，我们 仍想对 Go 开发者们强调 wazero，因为它提供了一种很方便的方式， 使用任何 符合标准的语言 编写的 wasm 模 块来扩展你的 Go 应用程序。它不依赖于 CGO，所以你可以很容易地将你的 Go 应用程序交叉编译到其他平台。 尽管在选择 WASM 运行时 的时候你有很多候选项，但我们仍认为 wazero 值得评估。 遵循公开发布的方法，将这些数 据合并为排放量估算值，并提供随时间变化的数据可视化。云提供商已经开始在其平台上添加类似产品，但是 一些企业仍在部署 CCF，因为它具有以下所有功能：它是开源的，可扩展的，能跨多云工作，并且有一个透明 公开的计算方法。此外，它还包括范围 2 和范围 3 排放的估算，分别针对电力使用和硬件生产。在我们的实验 中，不同工具的估算结果不尽相同，这并不奇怪，因为该领域 一直是自维护可观察性工具链中的一个可靠选择，但当监测指标在基数和总量上增长，以 及开始需要高可用性设置时，许多管理现代云原生分布式系统的团队都会碰到其单节点的限制。Thanos 通 过添加一些适用于大规模、长期和高可用性监控的功能来扩展 Prometheus。例如，它引入了一些组件将从 Prometheus 实例中读取的数据存储到对象存储系统中，管理对象存储系统对数据的保留和压缩，并且横跨 多个 Prometheus 实例做联合查询。我们的团队发现从