Best practices for building Kubernetes Operators Patryk WasielewskiAbout me ● DevOps Consultant at Amazon Web Services (AWS) ● 6 years professional experience as DevOps / SRE / Developer ● Cloud-native json-patch/merge-patch support ○ Finalizers ○ Built-in Authz/AuthnControllers https://able8.medium.com/kubernetes-controllers-overview-b6ec086c1fbControllers ● Controller tracks at least one resource type ● backup, failover, recovery, etc.), for a software running within the Kubernetes cluster, https://www.cncf.io/blog/2022/06/15/kubernetes-operators-what-are-they-some-examples/Framework - Kubebuilder/Operator-sdkCapability

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio 中间件 通⽤服务 ⾃定义服务 服务市场 Kubernetes Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 release_id: ${release:id} pipeline.yml 定义 - 屏蔽掉流⽔线定义的复杂度 - 丰富的通⽤Action，开箱即⽤ - Action 扩展规范，任意扩展 Workload 管理 - Create - Update - Delete - Describe - Scale - Restart services: trade-server:

on Post-Kubernetes 郑伟 ⽯墨⽂档 Background in Shimo Language • Go • Node • Rust Background in Shimo Framework • Gin • Echo • gRPC • … Background in Shimo Platform • All in Kubernetes • Ingress IDL Debug IDL Mock ... API Gateway Framework（Ego） Auth Interceptor Metrics IDL Docs Kubernetes Redis CMP DB CMP Log Interceptor Err Interceptor Metric Interceptor MQ CMP Mongo Debugging • How to debugging service with dependencies? • Use VPN to connect develop kubernetes cluster. • With Kubernetes API server Resolver, we can resolve dependent services. IDL Tool Chain - gRPC Local

同应用创新大赛最佳创新奖 ✓ 数据集管理 ✓ 模型管理 ✓ …… 基础框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 训练推理框架 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ✓ …… 兼容性 项目地址：https://github.com/kubeedge/sedna 开源分布式协同AI框架KubeEdge-Sedna 1. GlobalCoordinator 卸载，包括卸载到其他边缘或云端，以提升 整体推理效率。 多边协同推理： 联合多边缘信息提升精度，卸载任务到多边缘提升资源利用率 Sedna-GM： 一个K8S Operator 第三部分 Operator：特定应用扩展K8S API的控制器 •API: The data that describes the operand’s configuration. The API includes: • Custom language, such as Go. “Kubernetes Operator 是一种特定于应用的控制器，可扩展 Kubernetes API 的功能，来代表 Kubernetes 用 户创建、配置和管理复杂应用的实例。” https://www.redhat.com/zh/topics/containers/what-is-a-kubernetes-operator https://developers

Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver extension 3 4 5 6 7 Custom resources Scheduler extension 认知成本高：K8s功能强大却没有统一的使用方式，不得不学习复杂的声明字段和各种奇怪的Annotation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升

Redis HBase Cassandra MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL NewSQL 是什么 ● 水平扩展 ● 事务 ● 高可用 & 自动故障恢复 ● SQL TiDB ● Scalability as the first class feature ● SQL is necessary ● Python and R ○ Machine Learning Libraries ○ Spark Streaming TiDB on K8S TiDB with Kubernetes 1/3 ● Kubernetes 是容器编排的最佳方案 ● 难点 ○ Stateless is Easy, Stateful is Hard ○ Application domain knowledge (Inspired by etcd-operator) TiDB with Kubernetes 2/3 kubectl tidb-operator PD TiKV Cluster Delete a tikv node Delete a tikv node Data Movement TiDB with Kubernetes 3/3 ● Create ● Rolling update

开发效率 • CI/CD简单 • 云原⽣友好 思想是多元的，观点是个⼈的 单体和微服务怎么选？ 单体的优点 • 开发简单 • 测试简单 • 部署简单 • 扩展简单 单体的缺点 • 难以理解和功能扩展 • ⼩改动也得全量更新 • ⼩问题容易触发⼤故障 • 能够⽀撑的业务规模有限 微服务的优点 • 边界清晰的业务拆分 • 易开发、易理解、易维护 • 技术栈可相对独⽴ • 其次看团队 • 从简单⼊⼿ • 预留可能性 单体也有讲究 • 数据梳理清楚很重要 • 快速开发 • 快速交付 • 善⽤⼯具，降低出错 • 不增加成本并为业务发展留下扩展空间 单体到微服务何时转？ 什么信号标明该考虑转换了？ • 单体系统已过度复杂 - 体感 • 当前架构已不能满⾜业务发展需要 • 研发效率降低 • 持续集成、持续交付⽐较困难 • • 保留回滚可能性 数据迁移 CI/CD • mono repo • gitlab + jenkins • ansible + supervisor • docker + kubernetes • kind Wrap up • Prefer Go over … • 怎么选？ • 何时转？ • 怎么转？ go-zero渐进式微服务框架 • 9.2K stars •

Go，也玩 Rust Github 满满绿格⼦子⻅见证我开发⽣生涯的⼀一⾯面 • 16 年年底组建 Go 团队，重构后端服务体 系，为此造了了⼀一些轮⼦子，如 Gear 框架 基于 kubernetes 和 SOA，部分已上线，如 TCM 消息推送服 务直接提供 HTTP/2 和 gRPC 接⼝口 • 前端架构师 ➞ 后端架构师 ⇢ 技术负责⼈人 技术学习⽆无⽌止境，逼迫个⼈人成⻓长，推进团队成⻓长 string) (err error) func (ctx *Context) Error(e error) error // and more… Web 服务必备的操作 HTTP 的⽅方法及扩展能⼒力力 强⼤大、实⽤用的 HTTP 操作语法糖 // 定义请求数据模板和验证逻辑: type loginTemplate struct { Name string `json:"name" ParseURL ctx.ParseURL 与 ctx.ParseBody ⼀一致的使⽤用⽅方式，强⼤大和灵活，可⾃自定义 强⼤大、实⽤用的 HTTP 操作语法糖 强类型的疼，再也不不能像 JS ⼀一样任性的扩展 context 了了 类似解析请求数据这种需求，可做成类似 util ⼯工具包 但像 session 这种需要在中间件间传递状态的怎么解？ type Any interface { New(ctx

显而易见的问题 范畴 问题 需求 - 所有策略需求都需要走开发流程 - 迭代周期长：2周开发、测试、上线 运营 - 变更困难，修改策略 = 修改代码 开发 - 代码低内聚，交接难度大 扩展 - 没有考虑扩展 功能 - 难以实现战略推荐 - 早期：先考虑有无 - 引入推荐系统 系统思考——如何评判方案的好坏？ 需要定义几个维度来评判一个方案的好坏 - 响应性能： 获取事件到输出策略的延迟 + 82 行注释 + 开发模式文档 交接周期 未知（未交接过） 1 天（几位开发参与过） 持续测试 无 有 性能和成本优化 第四部分 贵 - 部署：腾讯云 TKE（Tencent Kubernetes Engine）；微服务 - 上线前压测： - 预估 CPU：20,000+ 核，其中推荐系统接近 18,000 - 现象：网络流量极大 - 原因：流量中包含对局完整历史（Token recall 40～70% 12～17% 400+ 1.23 + 0.849 = 2.08 Gbps - 思考： - 放弃对局缓存 - 仅按照当前玩家状态推荐 - 无法基于对局历史推荐；后续难以扩展 - 缓存功能下沉 - 由重排层也不是业务层存储缓存 - 破坏推荐系统架构，降低复用性 - 裁剪对局历史 - 最多缓存 10 分钟的对局历史 - 不是根本解决方法 - 微服务单体化 - 腾讯文

是否已经存在类似的解?  n 传统:  HPC中的PBS  和  Condor  n 现代:  Hadoop  YARN，Apache  Mesos，Google  Kubernetes  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No  Gopher  China  2015 闲资源满足应用程序需求），这种机制会造成浪费，但不会出现 饿死现象  ⑥ Mesos  和  YARN的调度器的扩展和定制在开发上都比较繁琐。  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No   ① Kubernetes  仅仅是实现了一个极其简单的调度器。鼓励开发者编写自己的调度器注册进框架  ② 调