(Observability) 在 Kubernetes Day2 Operation的考量與實踐 E . W. K u o @ i T h o m e K u b e r n e t e s S u m m i t 2 0 2 2 Click to edit Master title style 2 “ 二哥 2 Wistron DX Lab 緯創數位轉型技術實驗室 • 緯創資通員工 style 3 Agenda Day2 Operation Challenge of Kubernetes Day 2 Operation Tame operational complexity Observability Observability Demo 3 Day2 運營 定義與說明 Kubernetes Day2 運營的挑戰 馴服運營 複雜性 可觀測性 Master title style 4 Day2 Operation 定 義 與 說 明 4 Click to edit Master title style 5 Day 2 Operation 的定義 • 一旦“某物”投入運營，Day 2 Operation 就是直到該“某物”被移除或 被取代前所需要照料它的時間段。 • Day 2 Operation 是系統為組織生成結 果與價值的地方。

fedora-23-atomic --visibility public --disk-format qcow2 --os-distro fedora-atomic -- container-format bare --progress --file ./Fedora-Cloud- Atomic-23-20151030.x86_64.qcow2 Ø对于已有的镜像，更新os-distro属性 Ø glance image-update

2019.1 1. 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块，让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit Breaker 实现 2019.7 Spring Cloud Alibaba Redis, 注册中心、配置中心、服务治理中心 服务治理下沉、透明化 Java Agent, Sidecar, Java治理和Mesh治理的统一， 应用0成本上云 部署形态多云、混合云化 本地云端混部、多云混部、公私混部 云原生下微服务趋势 自研微 服务 Fat-SDK Pandora One Agent One Mesh • 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 服务治理的区分 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 业务无侵入、无感知 • 0升级成本 • 全面兼容开源 注册中心 元数据中心 微服务引擎 基于 Java Agent 的服务治理 public class

configure file Secret I need confidential data HPA I need auto-scaling Understand Kubernetes in 2 min • kubectl run nginx —image=nginx:1.7.9 —replicas=3 apiVersion: apps/v1beta1 kind: Deployment metadata: containerPort: 80 • kubectl create -f deployment.yaml • kubectl create -f hpa.yaml apiVersion: autoscaling/v2alpha1 kind: HorizontalPodAutoscaler metadata: name: php-apache namespace: default spec: scaleTargetRef: targetAverageUtilization: 50 • API Object Oriented Programming Core of API “OO” 1.API objects stores in etcd 2.Control loops (Sync Loop) to reconcile API objects Example kubelet SyncLoop kubelet SyncLoop proxy

ServiceAccount： 1、U1 2、U2 ……. NS RoleBingding： U1<->cr-ns U2<->cr-get ……. ClusterRole: 1. cr-ns 2. cr-get Kubertnetes集群 ⽤用户管理理 ⽤用户：U1、U2 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 BGP、IPIP、VXLAN 或⽤用户态程序, 每个节点需要部署 Agent程 序, 数据需要进⾏行行单独的存储（etcd），整 体上⽐比较复杂、⽽而复杂往往和可靠性成反⽐比 Dual Stack IPv4 IPv6 CIDR /64 --- IPv4 --- destinationrule istio ingress operator service pod proxy proxy(envoy) pod helloworld-v1 helloworld-v2 pod listener router gateway: proxy virtualservice: proxy cluster destinationrule:
 proxy-helloworld

(Kube-proxy, CLB, etc.) 0 n-1 … ordinal 1/2 Service (Kube-proxy, CLB, etc.) 0 n-1 … ordinal Service (Kube-proxy, CLB, etc.) 0 n-1 … StatefulSetPlus ordinal 2/2 Original Pod Updating Pod Updated Pod Pod biz-container:v2 init-container biz-sidecar biz-pause Pod biz-container:v2 EmptyDir Volume version1=1 version2=1 filelock.lc EmptyDir Volume version1=1 version2=2 filelock.lc EmptyDir EmptyDir Volume version1=2 version2=2 filelock.lc ������������� ��������������� ��������������� ��������������� ����������� ������������ ���������������� ����������������� ��������������������������������������������

framework 运维能力 operator 运维平台 运维基础 能力沉淀 运维平台 运维能力 编程框架 Kubernetes Platform不可变基础设施 base os dep2 dep1 config binary Docker K8s Pod main Container logtail sshd monitor 业务 ssh 日志 监控 通过 Dockerfile Client Kubelets APIServer Http2 -> http1.1 Upgrade Etcd client v3.3.15 周期性重建连接 slb slb 直连 设置maxSurge• 客户端和服务端的同步机制 List & Watch优化 ETCD Cache Pod A V1 Pod A V2 Pod A V3 Reflector APIServer APIServer Client list/get @t0 ETCD rv=nil 1. Get rv@t0 Cache 2. Request Notify Index rv Reflector 3. Wait rv > rv@t0 Add Indexs 1. nodename 2. Namespace 3. Labels …… Describe node 5s 0.3s• 稳定性保证 规模化容器调度

Docker、Docket、Gaiastack P2P Agent下载镜像对比 Registry与P2P Agent流量占比对比 • 镜像下载引入BT协议 • 对Docker Daemon零入侵 • 每层分别做种 • 优化blob下载策略 发表论文：《FID: A Faster Image Distribution System for Docker Platform》 2017 IEEE 2nd International Apiserver cluster-agent Cloud API 集群弹性伸缩： • 监控节点资源使用率 • 自动迁移低负载Node上的Pod，完成缩容 • 一定数量Pod因资源不足pending时，自动扩容 能力扩展：灰度升级 • 在GPU集群中有一个长时间服务应用prd-cloud-str-003-p40- cluster1。该应用有25个实例，每个实例需要2个GPU卡。用 来提供图片识别的OCR服务。 containe r 空间上报 自动调度 共享云盘 containe r 内置云盘 containe r • 基于本机磁盘 • 上报至调度器 • 作为资源进行调度 本地磁盘 2类存储，3种场景 本地磁盘：延时低，不可迁移 共享云盘：云存储，多容器共享，同时读写 内置云盘：云存储，每容器独享，用户无感知 云存储 • 支持在线扩容、quota管理、权限管理 • 共享云盘基于cephFS

time: ~10s • 镜像缓存：无需从远端拉取镜像 • 与ECS并池：大规模资源池，弹性能力保障 • 在Kubernetes中使用ECI: ACK/ASK on ECI ECI ECI Agent Container Container Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 Two-way sync of resources K8S resources CRUD K8S Client Elastic Container Instance Pod Viking agent Container Container Pod Get Pod status Service/Ingress DNS Entry SLB Private Zone ASK-Scheduler e/Logs/Exec/Metrics ECI关键技术选择 - 基于安全沙箱技术的容器运行时 ECI Elastic Container Instance Pod container agent Container Container ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI • Bulti-in Security

提升资源使用率 1 多云冗余高可用 2 环境并行互不影响 3 P-2 线下多环境一期方案 ‣ 一键拉起master镜像新环境 ‣ 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES CDN / LB / WAF / NG K8S集群 namespace1 namespace… namespaceN service1 service2 service3 … … … … … service1 service2 service3 … jenkins 用户中心数据库 API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 数据依赖成本高 所有存储都是独立搭建的 集群规模大，运维工作量大 环境数目越多，资源成本，维护成本越高 挑战 P-3 多环境优化实战