Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Topic: Kube-on-Kube-Operator • Achievement • Q&A Background: DC/OS From Sigma 2.0(Swarm) to Sigma 3.1(Kubernetes) Background: Cluster Scale • Production environment: • Dozens of Cluster • 5k+ Nodes / Cluster architecture Work order deployment system can not meet the requirements of resource management. Operator Observe Action Analyze • Observe: watch desired resource and actual resource • Analyze: difference

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

Confidential AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 周琦，AWS 解决方案架构师 Amazon Elastic Kubernetes Service (EKS) 初探秘 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Elastic Container Registry 管理 容器化应用的部署，调度，扩 展和管理 Amazon Elastic Container Service Amazon Elastic Container Service for Kubernetes 主机 容器在哪里运行 Amazon EC2 AWS Fargate 服务注册发现 云端服务的黄页 AWS Cloud New Amazon EKS Region: Paris, London, Mumbai - CNI v1.5.0 - New Regions: Hong Kong 即将发布 - Service linked role for Amazon EKS - EKS Support for K8s version 1.13 + ECR AWS PrivateLink - EKS-optimized

当前 Chaos Mesh 的 maintainer。在混沌工程的实践和实现上拥有一定经验和见 解。除了 Chaos Mesh 之外还维护有多个受欢迎的开源项目，如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人：杨可奥 PingCAP e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构，以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故，任何时候都可能发生 AWS 事故，任何时候都可能发生 Github 关于混沌，我们能知道很多 我们的软件没有混沌现象 天然的隔离性和安全性 2. Go 的线程模型与 namespace 机制难以融合 3. 要求运行时注入和恢复 4. 和内核打交道通常都是困难的! Kubernetes 上的混沌工程方案 Chaos Mesh Cloud Native ● 在 Kubernetes 上运行，被测对象也运行在 Kubernetes 上 ● 测试的最小单元是 Pod 或 Container ● 使用 Helm 一键部署

������Kubernetes Service�������� �� ��Cloud BU - PaaS��� Github: @m1093782566 Kubernetes�Service�� Iptables��Service���� ��Iptables������� IPVS��Service���� Iptables vs. IPVS Kubernetes�Service ����onl��a�o� ����onl��a�o� - ��������������t� - ���������� - �����IP�n������� - �������� - ��������� Kubernetes Service�Endpoints Label Selector Label: app=backend IP: 172.17.10.1 Port: 80 Label: app=MyApp Container 80 Label: app=MyApp Container Container Replication Controller Label: app=MyApp Replicas: 2 Service <10.0.0.11>:<9376> Label: app=MyApp Endpoints: track backend pod changes <172.17.10.1>:<80> <172

with Kubernetes Ø How to provide a fast & reliable way to release stateful service Ø Advanced scheduling to improve service stability Ø Quota management to optimize resource orchestration efficiency autoscaling What is TKEx Ø Based on TKE (Tencent Kubernetes Engine) & EKS (Tencent Elastic Kubernetes Service). Ø Serve Tencent’s business by using kubernetes native approach. • Adapt to various internal systems services. • Support Service Mesh. • Large-scale and high-performance autoscaling capabilities. • Multi-tenant and quota management. • etc. TKEx Architecture EKS (Elastic Kubernetes Service) TKE (Tencent

pipes 過去 25 年都是如此運作 服務數量越來越多，端點越來越多，該如何管理 ? 服務網格 Service Mesh 更聰明的管線 … 眾多服務網格方案 Service Mesh Interface (SMI) for Kubernetes CNCF 沙箱計畫 Service Mesh Interface (SMI) for Kubernetes Kubernetes 標準介面期望統一定義 格方案 Service Mesh Interface 這並非新概念 感覺很熟悉，因為之前 Kubernetes 上已經有類似概念被實現過了 …. 應用程式 工具 生態系統 Ingress 展示 Azure Kubernetes Service (AKS) SMI 與Linkerd https://openservicemesh.io/ Open Service Mesh (OSM) (OSM) 以 CNCF Envoy 為基礎，實作 Service Mesh Interface 輕量化，開放源碼服務網格計畫 Kubernetes 實戰工作坊 Azure Kubernetes Service Workshop（L300） 13:00 ~ 15:00、15:00 ~ 17:00 兩梯次

������������ • ������ • ���������� • ��Ingress�� • �����90%���Service�� • �����A/B Test • ��>10S �����Service��� ��������� • ���Service������B�� ����� A In A Ratio ID=1002 95 68% ID=1002 Method=Get structured Data SQL�NoSQL Log Service / LogShipper Mobile & Web IoT Mobile Logs Web Text & Logs Services & Languages IoT & Devices Camera �� Log Service / LogHub Real-time Data Stream �� Visualization QuickBI DataV Log Service / Dashboard ��� Stream Processing SparkStreaming Function Compute Hadoop HIVE Big Data Analytics Batch Processing Pig PAI MaxCompute EMR Interactive

ta-ee- developer-survey.pdf Spring Boot 是开发者构建云原生应用的首选! JAKARTA EE 2019 开发者报告 Config Server Service Discovery Circuit Breaker Gateway Load Balancer Distributed Tracing Messaging Serverless Task 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 云原生下微服务趋势 自研微 服务 Fat-SDK Pandora One Agent One Mesh • 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 • 0升级成本 • 全面兼容开源 Pilot API Server Go App Envo y Node.js APP Envo y Java App Agent Java App Agent MCP Service Mesh xDS xDS • 调用互通 • 监控互通 • 治理互通 xDS xDS 服务治理 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 多语言互通

三类传统的微服务注册中心。 ➢ 支持接入 Kubernetes 和 Service Mesh 两类云原生微服务注册中心。 版权 © 2023 DaoCloud 第 13 页 微服务流量治理 在流量治理层面，采用线上流量治理方案，可以快速与主流开源微服务框架集 成，用 Sentinel 和 Mesh 解决不同生产情况下的痛点。 ➢ 支持通过 Sentinel 使用流 使用流控、熔断降级、热点、系统、授权、集群流控等规则治理传 统微服务的东西向流量。 ➢ 支持通过 Service Mesh 通过虚拟服务、目标规则、网关规则在网格中治理微服务流 量。 微服务配置中心 Nacos 托管注册中心可作为微服务的配置管理器，可以从不同项目中抽取通用 配置事先统一管理，也可以为同一项目应用多个不同配置，实现差异化管理。 ➢ 基于微服务命名空间和分组 (Group) 如果在应用落地场景中未安装 Underlay CNI，可以不安装 SpiderPool。 3. Cilium 作为高性能 Overlay CNI，提供 eBPF 内核加速，实现跨集群 Pod 通 信和跨集群 Service 通信，以及支持灵活的细粒度网络策略下发和丰富的流 量观测能力。 版权 © 2023 DaoCloud 第 16 页 在此方案组合中，Cilium 为必备的网络 CNI。 4