12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Distributing secrets Checking application health Replicating application instances Using Horizontal Pod Autoscaling Naming and discovering Balancing loads Rolling updates Monitoring resources Accessing Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability

本文档，则说明接受以上2个条 款。 作者：李茂福 更新日期：2023-12-29 ★第0章、K8S集群搭建准备工作 相关单词原义： docker 码头工人 pod 集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1 #加载配置 ⑧防火墙放行端口 TCP: 6443，2379，2380，10250~10252，30000~32767 UDP: 8285，8472 ★最好是允许整个k8s的node网段以及pod网段入站 # firewall-cmd --add-rich-rule='rule family="ipv4" source address="10.99.1.0/24" accept' #

点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信 Node节点上运行一组关键进程： kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。

⽬前只⽀持扩容操作，不可缩容 15 卸载NAS盘 对于已挂载的NAS盘，可以从集群中卸载，卸载后的NAS盘可以挂在到同⼀区域下的其他集群使⽤ NAS盘⼀旦卸载，会导致该集群内所有依赖该存储的POD的PV皆不可⽤，请谨慎操作 卸载需要邮箱验证 删除NAS盘 16 对于已经卸载的NAS盘，可以永久删除 删除后的NAS盘，所有数据均会被删除，且⽆法找回，请谨慎操作 删除需要⼿机或邮箱验证 a) 在容器服务菜单下，单击左侧导航栏中的应⽤>⽆状态，选择所需的命名空间（默认为deafult）， 然后单击⻚⾯右上⻆的创建。 b) 设置应⽤名称、集群 、命名空间、副本数量（即应⽤包含的 Pod 数量）、标签和注解。然后单击 下⼀步进⼊容器配置⻚⾯ 应⽤管理 1. 简介 2. 前提条件 3. 操作说明 22 c) 设置容器配置 i. 基本配置 镜像名称：填写所⽤镜像名称， s）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参 ⻅https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness- readiness-probes。 24 请求类型 配置说明 HTTP/HTTPS 即向容器发送⼀个

按照集群节点数量付费 ECS Pod Pod Pod Pod ECS Pod Pod Pod Pod ECS Pod Pod Pod Pod 经典Kubernetes集群 容器调度与编排 Pod Pod Pod Pod Pod Pod Pod Pod Pod Pod Pod Pod Serverless Kubernetes集群 addon混合集群 容器调度与编排 Pod Pod Pod … Elastic Container Instance (ECI) Pod Pod Node-2 Pod Pod Node-1 Pod Pod Node-N ECI Provider 虚拟节点 • 无限弹性，敏捷扩容 • 支持pod之间互联互通 无需管理服务器 Without • 系统监控和长期维护 极致弹性 Scale your pods elastically • 直接基于pod扩容，而不是node，不再受限于node数量 • 无需预留计算容量 Pod Pod Pod Pod Pod Pod Pod Pod Pod Pod kubectl scale deployment scale in seconds “unlimited”

NS: PP Think in Cloud . 北北京 IPv6 on KUN ⽅方案 • IPv6(Pod, Node, Service) • 6to4 Tunnel • Bridge 特性 • 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 BGP、IPIP、VXLAN eth0 eth0 veth veth Pod veth Pod veth ⽹网 桥 eth0 veth veth Pod veth Pod veth ⽹网 桥 eth0 veth veth Pod veth Pod veth ⽹网 桥 eth0 veth veth Pod veth Pod veth ⽹网 桥 6to4 tunnel Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开，这样 kube- proxy 转发给Pod的包会实现源地址转换 （SNAT） Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod Pod BGPD Kube-proxy masquerade-all=true

Container Landscape Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 （ACK） Pod Pod RunC Pod Pod Pod Pod ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI ECI Serverless Kubernetes （ASK） Pod Pod Pod ECS • 共享OS • 安全性弱 OS Pod Pod Pod Bare Bare Metal Pod Pod Pod Pod Pod Pod Sandbox • 强隔离，安全 • 强隔离，安全 • 无节点管理 kubelet containerd OS Sandbox kubelet ECI: Elastic Container Instance • Run Containers without Managing Infrastructure • 容器成为云上的一等公民

node 3 Master SACC2017 Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 localhost访问 • 容器间还共享数据卷Volumes • 有点类似虚拟机中的多个进程 22 SACC2017 Pod部署在K8s中 23 Pod 1 Container 1 Tools Tools, Libs, SW Container 2 Tools, Libs, SW Pod 2 Container 1 Tools, Libs, SW Container 2 Tools, Libs, SW Kubernetes SACC2017 Kubernetes 的存储：Persistent Volume Claim Pool of Worker Claim Pod 24 SACC2017 Kubernetes的Services • 服务类型 – ClusterIP – NodePort – LoadBalancer • 服务发现 – DNS – 环境变量 25 Worker Node Service Pod 1 Pod 2 Pod N Node IP: 192

node2 pod docker pod pod-gw- eth0 eth eth0 eth L2 local-network本地网络 docker内部子网 L3 k8s pod网络 flanneld控制 flanneld node1 pod docker pod eth eth0 eth docker内部子网 flanneld pod-gw-eth0 cluster.svc.local; 2.流量达到ipvs-eth; 3.lvs负载均衡对流量进行轮寻，寻找目的pod下一跳; 4.流量达到node1,node2的eth0,经过内部路由进行传输; 5.内部路由到达docker-0网关，流量经由flanneld下发的子 网到达pod容器; 工作原理： Flannel负责在容器集群中的多个节点之间提供第3层IPv4网 络。 工作模式： 1.vxlan 系统启动，flanneld下发docker子网配置，docker启动获 取子网配置生成docker0 生成gateway网卡; 2.node1，node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表;

Node2 Kube-scheduler Pod Request Load Level Request Load Level Real Load Level Real Load Level Assigned to Node2 The native K8S scheduling is based on the resource request of Pod. However, in many nodes have high resource requests but low load. Dynamic-Scheduler Node1 Node2 Kube-scheduler Pod Request Load Level Request Load Level Real Load Level Real Load Level Assigned to Node1 Dynamic-scheduler 5m Load 50% 1h Load 75% 5m Load 40% 1h Load 30% Dynamic-scheduler 5m Load >65% filtered Pod 1h Load >70% filtered Add node1 to priority candidate list Dynamic-Scheduler Priority Node2 Node3