resource to final state continually • kube-apiserver oriented programming • CustomResourceDefinition (CRD) • Built on Kubernetes APIs • Kubernetes repo support • Agile, flexible and convenient ## Node-Operator: Machine and Node state, manage Node softwares and configure files. - Machine: the instance of Machine CRD with node basic information, which represent a node desired in the Kubernetes. - NPD(Node Problem

## • Kubernetes Capabilities/Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline / Stage/ Task / Task Template / Version Control • Logging, monitoring • Kubernetes Capabilities and Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline/Stage/Task/Task Template/Version Control/UI generation/Volume... • integration capabilities, such as external service registration, service catalog, integrate using CRD and controller, etc... ## CI/CD Examples - Build Docker Image ## CI/CD Examples - Artifact Management

ClickHouse cluster resources ## План работ ● Наследование Templates ● Хранить историю изменений CRD ● Автоматизация ‘canary testing’ ● Интеграция с ZooKeeper operator ● Сложные health checks ● Jobs:

TPR + controller—runtime 早期版本的 sample: etcd operator ## CRD K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR；controller-runtime 加入 K8s 社区并正式发布； 自此，CRD + controller-runtime 逐渐成为开发 operator 的首选 ## Operator Pattern Pattern Operator Pattern 是官方定义的标准扩展机制，是 K8s Native Application； Operator = CRD + control loop, i.e., Declarative API + Automation; kubebuilder + controller—runtime + helm ## Operator Capability Levels

OPENSERGO 一套开放通用的、面向云原生架构的微服务治理解决方案及标准规范，助力保障微服务高可用 基于业界微服务治理场景与实践抽象成通用规范，解决各个微服务生态中治理概念、能力与配置不一致的问题，以统一的CRD/DSL进行治理配置，降低用户上云与维护成本 从网关到服务框架，再到微服务上下游的关联组件，OpenSergo针对应用链路上的每一环都进行了抽象，场景覆盖完整 标准化 多语言异构化 无论微服务的语言是 服务治理规范-流量路由 OpenSergo 流量路由 Spec 基于 Istio VirtualService/DestinationRule 的格式进行扩展同时社区也在探索与 K8s Gateway CRD 标准化结合的方案 扩展点示例：路由容错的处理、更多RPC模型的支持等 ’ alt=‘OCR图片’/> OpenSergo 服务治理规范-全链路灰度 经过有颜色标记节点的流量，带上该节点的颜色标记 自适应过载保护 触发后的 fallback 行为 HTTP 请求返回特定的状态码和header、body信息 RPC 请求返回特定的返回值或异常 流量调度至其他节点 流量控制 CRD 示例： spec: metricType: RequestAmount limitMode: Global threshold: 10 statDurationSeconds: 1 apiVersion:

01 ## 流量策略 跨服务应用身份和传输加密 等策略 CRD: TrafficTarget  ## 流量遥测 捕获关键指标，如错误率和服务之间的延迟 CRD: TrafficMetrics, TrafficMetricsList TrafficMetricsList ## 流量管理 处理流量在不同的服务之间的流转 CRD: TrafficSplit, HttpRoute, TCPRoute, UDPRoute ## 流量策略 kind: TrafficTarget metadata: name: api-service-metrics namespace: default spec: destination: kind: ServiceAccount

Istio其他配置管理没有防抖动处理（VirtualService/DestinationRule等），如果用程序自动化注入这些配置要注意在客户端实现限流 - Istio的配置管理缺少兼容性设计，CRD无法做到平滑升级 ## TABLE OF CONTENTS 大纲 • FreeWheel的痛点 Istio的架构和基本原理 • FreeWheel的Istio实践 · 未来工作 ## 未来工作

OPERATOR LIFECYCLE MANAGER (OLM) 2.5. 了解 OPERATORHUB 2.6. 红帽提供的 OPERATOR 目录 2.7. 多租户集群中的 OPERATOR 2.8. CRD 第 第 3 章 章 用 用户 户任 任务 务 3.1. 从已安装的 OPERATOR 创建应用程序 3.2. 在命名空间中安装 OPERATOR 第 第 4 章 章 管理 管理员 员任 任务 务 4 工具来管理您的应用程序？ 用程序？ 这些 API 功能丰富，所有平台均有对应的客户端，并可插入到集群的访问控制/审核中。Operator 会 使用 Kubernetes 的扩展机制“自定义资源定义 (CRD)”支持您的自定义对象，如 MongoDB，它类似于 内置的原生 Kubernetes 对象。 Operator 与 与 Service Broker 的比 的比较？ ？ 服务代理（service Container Platform 4.14 中。 Operator Registry Operator Registry 存储 ClusterServiceVersions (CSV) 和自定义资源定义 (CRD) 以便在集群中创建， 并存储有关软件包和频道的 Operator 元数据。它运行在 Kubernetes 或 OpenShift 集群中，向 OLM 提供这些 Operator 目录数据。 OperatorHub

Reference Internals Hubble internals Hubble Architecture Cilium Operator Highly Available Cilium Operator CRD Registration IPAM KVStore operations Identity garbage collection CiliumEndpoint garbage collection steps: Default Configuration: Datapath IPAM Datastore Direct Routing Kubernetes PodCIDR Kubernetes CRD Requirements: The cluster should be created with the taint node.cilium.io/agent-not- ready=true:NoExecute Configuration: Datapath IPAM Datastore Datapath IPAM Datastore Encapsulation Cluster Pool Kubernetes CRD Note BYOCNI is the preferred way to run Cilium on AKS, however integration with the Azure stack via

✓ custom resource definition(CRD) ✓ custom controller  kubernetes ⚡ OPERATOR etcd ## CRD 的基本原理 • Kubernetes 中一切都可视为资源 中一切都可视为资源 - 默认资源类型：如 Pod、Service、Volume 等 • Kubernetes 1.7 之后增加了 CRD 自定义资源 • 二次开发扩展 Kubernetes API ## Controller 的基本原理 ① 观察资源的当前状态 ② 分析当前状态与期望状态的差别 ③ 调用 API 消除差别 申请扩容 TestCluster app=test 期望副本数：3 VS d11b40241e0917f8cd627e1bdc741/p14_1.jpg) Slave2 MySQL 集群：1 主 2 从 ## MySQL 容器化系统架构 REST 0. 创建 CRD Kubernetes Master API Server Controller Manager CLI Scheduler 3. 集群管理 2. 调度 pod mysql pod-0