落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 • 多种公有云（腾讯云、微软 云等） 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 "{\"replicaCount\": 2, \"resource\":\"...\"}" green: values: "{\"replicaCount\": 2, \"resource\":\"...\"}" - clusterB: blue: values: "{\"replicaCount\": 2, \"resource\":\"...\"}" canary: values: "{\"replicaCount\": 1, \"resource\":\"...\"}" AdvDeployment： spec: blue: chart: "****:v2" values: "{\"replicaCount\": 2, \"resource\":\"...\"}" green: values: "{\"replicaCount\": 2, \"resource\":\"...\"}"

Baseline Custom Resource Component Custom Resource Service Custom Resource Versoin Versoin Cutom Resource CNBaaS Plugins Repository AliCloud Plugin AWS Plugin …… CNBaaS Operator CNBaaS Controllers Controllers ServiceController | ComponentController CNBaaS Operator (Kubernetes AddOn) OwnerReference OwnerReference Invoke Plugin Runime 4.Build and adapt component 5. Apply Component 1. Register Plugin

标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s Yaml) Custom Resource Spec

模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例：上线新功能 metrics 平台研发团队： ● 开发了一个新 Operator 叫做 metrics（监控） ● 编写一个 K8s 能力描述文件 metrics.yaml 平台管理员： ● 执行 $ kubectl apply -f metrics.yaml 用户： TraitDefinition Application snapshot (v1) 1) 统一从 Definition 中获取 应用工作负载类型和特征。 2) 根据策略按批自动灰度。 K8s Resource 发布单模式--渐进式发布 Application AppRevision v1 AppRevision v2 AppRevision v3 ① 创建 ② 第一次更新 ③ 第二次更新 Application 的更新不 再实际操作资源，只生成版本快照 AppRollout-1 开始 暂停 继续 成功 AppRollout-2 新的发布使用新的发布单对象 K8s Resource v1 -> v2 cluster2 cluster1 面向终态的多版本共存 --渐进式发布 Application AppRevision v1 AppRevision v2

• 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 job nodes Resources nodes Resources Queues Jobs run and finish Jobs wait in Queue until resource are ready Jobs run and finish master Queue1 Queue2 QueueN 动态资源共享 • 队列资源预留/队列容量 • 基于权重提供队列间资源共享 依据PodGroup调度 - 最小资源预留（CPU/MEM） - 作业优先级 - 多队列 - 多租户 - 优先级 - 公平调度 - 抢占 - …… More k8s native resource support • 首个Batch调度器 ü 2022年Volcano成为Spark on kubernetes的首个 batch调度器 ü 1.5K Pod/s 的大规模批量任务调度能力

Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control Loop Calling Nebula Cluster . ├── apis �� │ └── vesoft-inc/nebula-operator Nebula Operator Roadmap Rolling Upgrade Auto Scaling Integration with other Services Check out our Github Repo and contribute! vesoft-inc/nebula-operator Wey Gu 古思为 @wey_gu

通过Helm来安装 • 目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 Chart和外部高可用服务（数据库，缓存和存储）部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster User Defined Namespace Operator Namespace(s) CR: HarborCluster CR: Harbor CR: Postgresql Tenant Persistent Volume CR: Portal CR: Core CR: Registry CR: Jobservice CR: Trivy Autonomous Operator Controllers harbor Controller PostgreSQL Controller Redis Controller Minio Controller External

居高不下的原因之一。 在K8s这种环境中，存在两种定制化的手段：其一是Deployment API，但是它却 把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K

式部署、管理方案，且和容器服务生态深 度融合，提供适配云原生应用的各种能力。 从实现上，可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康； • Agent：在每个存储节点上运行，并部署一个 CSI

-node 192.168.64.249-datacen er dc1 -ui consul join 192.168.64.59 consul join 192.168.64.59 consul operator raft list-peers consul agent -server -bind 192.168.64.59 -data-dir /tmp/consul -client 192.168