Pod 容忍节点异常时间调整 容忍节点异常时间调整 1. 原理说明 原理说明 Kubernetes 集群节点处于异常状态之后需要有⼀个等待时间，才会对节点上的 Pod 进⾏驱逐。那么针对部分关键业务，是否可以调整这个时间，便于在节点发⽣异常时及时将 Pod 驱逐 并在别的健康节点上重建？ 要解决这个问题，我们⾸先要了解 Kubernetes 在节点异常时驱逐 Pod 的机制。 在 Kubernetes 这两个 feature gate，节点及其上 Pod 的⽣命周期管理将通过节点的 Condition 和 Taint 来进⾏，Kubernetes 会不断地检查所有节点状态，设置对应的 Condition，根据 Condition 为节点设置对应的 Taint，再根据 Taint 来驱逐节点上的 Pod。 同时在创建 Pod 时会默认为 Pod 添加相应的 tolerationSeconds tolerationSeconds 参数，指定当节点出现异常（如 NotReady）时 Pod 还将在这个节点上运⾏多⻓的时间。 那么，节点发⽣异常到 Pod 被驱逐的时间，就取决于两个参数：1. 节点实际异常到被判断为不健康的时间；2. Pod 对节点不健康的容忍时间。 Kubernetes 集群中默认节点实际异常到被判断为不健康的时间为 40s，Pod 对节点 NotReady 的容忍时间为 5min，也就是说，节点实际异常

other trademarks are the property of their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . 管理操作 增强操作 1.2. 关于 POD 读取操作 管理操作 增强操作 1.3. 关于容器 第 第 2 章 章 使用 使用 POD 2.1. 使用 POD 2.1.1. 了解 pod 2.1.2. pod 配置示例 2.1.3. 其他资源 2.2. 查看 POD 2.2.1. 关于 pod 2.2.2. 查看项目中的 pod 2.2.3. 查看 pod 用量统计 2.2.4. 查看资源日志 查看资源日志 2.3. 为 POD 配置 OPENSHIFT CONTAINER PLATFORM 集群 2.3.1. 配置 pod 重启后的行为 2.3.2. 限制可供 pod 使用的带宽 2.3.3. 了解如何使用 pod 中断预算来指定必须在线的 pod 数量 2.3.3.1. 使用 pod 中断预算指定必须在线的 pod 数量 2.3.4. 使用关键 pod 防止删除 pod 2.4. 使用

other trademarks are the property of their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . 功能增强操作 1.2. 关于 POD 读取操作 管理操作 功能增强操作 1.3. 关于容器 第 第 2 章 章 使用 使用 POD 2.1. 使用 POD 2.1.1. 了解 pod 2.1.2. pod 配置示例 2.1.3. 其他资源 2.2. 查看 POD 2.2.1. 关于 pod 2.2.2. 查看项目中的 pod 2.2.3. 查看 pod 用量统计 2.2.4. 查看资源日志 查看资源日志 2.3. 为 POD 配置 OPENSHIFT CONTAINER PLATFORM 集群 2.3.1. 配置 pod 重启后的行为 2.3.2. 限制可供 pod 使用的带宽 2.3.3. 了解如何使用 pod 中断预算来指定必须在线的 pod 数量 2.3.3.1. 使用 pod 中断预算指定必须在线的 pod 数量 2.3.4. 使用关键 pod 防止删除 pod 2.4. 使用

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Distributing secrets Checking application health Replicating application instances Using Horizontal Pod Autoscaling Naming and discovering Balancing loads Rolling updates Monitoring resources Accessing Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability

本文档，则说明接受以上2个条 款。 作者：李茂福 更新日期：2023-12-29 ★第0章、K8S集群搭建准备工作 相关单词原义： docker 码头工人 pod 集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1 #加载配置 ⑧防火墙放行端口 TCP: 6443，2379，2380，10250~10252，30000~32767 UDP: 8285，8472 ★最好是允许整个k8s的node网段以及pod网段入站 # firewall-cmd --add-rich-rule='rule family="ipv4" source address="10.99.1.0/24" accept' #

their respective owners. 摘要 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明，其中包括 DNS、 Ingress 和 Pod 网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 创建额外网络附加 11.2.6. 通过应用 YAML 清单来创建额外网络附加 11.3. 将 POD 附加到额外网络 11.3.1. 将 pod 添加到额外网络 11.3.1.1. 指定特定于 pod 的地址和路由选项 11.4. 从额外网络中删除 POD 11.4.1. 从额外网络中删除 pod 11.5. 编辑额外网络 11.5.1. 修改额外网络附加定义 11.6. 删除额外网络 支持的平台 12.1.1.2. 支持的设备 12.1.1.3. 自动发现 SR-IOV 网络设备 12.1.1.3.1. SriovNetworkNodeState 对象示例 12.1.1.4. 在 pod 中使用虚拟功能的示例 12.1.2. 后续步骤 12.2. 安装 SR-IOV NETWORK OPERATOR 12.2.1. 安装 SR-IOV Network Operator 12

their respective owners. 摘要 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明，其中包括 DNS、 Ingress 和 Pod 网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 更改 DNS OPERATOR MANAGEMENTSTATE 5.3. 控制 DNS POD 放置 5.4. 查看默认 DNS 5.5. 使用 DNS 转发 5.6. DNS OPERATOR 状态 5.7. DNS OPERATOR 日志 第 第 6 章 章 OPENSHIFT CONTAINER 第 13 章 章 多网 多网络 络 13.1. 了解多网络 13.2. 配置额外网络 13.3. 关于虚拟路由和转发 13.4. 配置多网络策略 13.5. 将 POD 附加到额外网络 13.6. 从额外网络中删除 POD 13.7. 编辑额外网络 13.8. 删除额外网络 13.9. 为 VRF 分配从属网络 第 第 14 章 章 硬件网 硬件网络 络 14.1. 关于单根 I/O

their respective owners. 摘要 摘要 本文档提供有关配置和管理 OpenShift Container Platform 集群网络的说明，其中包括 DNS、 Ingress 和 Pod 网络。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CONTAINER PLATFORM 中的 中的 DNS OPERATOR 6.1. DNS OPERATOR 6.2. 更改 DNS OPERATOR MANAGEMENTSTATE 6.3. 控制 DNS POD 放置 6.4. 查看默认 DNS 6.5. 使用 DNS 转发 6.6. DNS OPERATOR 状态 6.7. DNS OPERATOR 日志 6.8. 设置 COREDNS 日志级别 6.9 为项目定义默认网络策略 22.7. 使用网络策略配置多租户隔离 第 第 23 章 章 CIDR 范 范围 围定 定义 义 23.1. MACHINE CIDR 23.2. SERVICE CIDR 23.3. POD CIDR 23.4. 主机前缀 第 第 24 章 章 AWS LOAD BALANCER OPERATOR 24.1. AWS LOAD BALANCER OPERATOR 发行注记 24

点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信 Node节点上运行一组关键进程： kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。

transparently insert security visibility + enforcement, but does so in a way that is based on service / pod / container identity (in contrast to IP address identification in traditional systems) and can filter paths include with and without service load- balancing and various network policy combinations. The pod name indicates the connectivity variant and the readiness and liveness gate indicates success or failure 65s pod-to-a-79546bc469-rl2qq 1/1 Running 0 66s pod-to-a-allowed-cnp-58b7f7fb8f-lkq7p 1/1 Running 0 66s pod-to-a-de