Pod 容忍节点异常时间调整 容忍节点异常时间调整 1. 原理说明 原理说明 Kubernetes 集群节点处于异常状态之后需要有⼀个等待时间，才会对节点上的 Pod 进⾏驱逐。那么针对部分关键业务，是否可以调整这个时间，便于在节点发⽣异常时及时将 Pod 驱逐 并在别的健康节点上重建？ 要解决这个问题，我们⾸先要了解 Kubernetes 在节点异常时驱逐 Pod 的机制。 在 Kubernetes 那么，节点发⽣异常到 Pod 被驱逐的时间，就取决于两个参数：1. 节点实际异常到被判断为不健康的时间；2. Pod 对节点不健康的容忍时间。 Kubernetes 集群中默认节点实际异常到被判断为不健康的时间为 40s，Pod 对节点 NotReady 的容忍时间为 5min，也就是说，节点实际异常 5min40s（340s）后，节点上的 Pod 才会 发⽣驱逐。 2. 调整节点被标记为不健康的时间 的 nodeStatusUpdateFrequency 参数（Kubelet 向主控节点汇报节点状态的时间间隔）⼤ N 倍； 这⾥ N 指的是 kubelet 发送节点状态的重试次数。 Pod 容忍节点异常时间调整 Copyright © 2012-2021 UCloud 优刻得 1/4 如需修改该参数，请逐台在三台 逐台在三台 Master 节点上 节点上进⾏如下操作： 1. 在 ControllerManager

LOGGING 组件配置 CPU 和内存限值 4.6.1. 配置 CPU 和内存限值 4.7. 使用容忍度来控制 OPENSHIFT LOGGING POD 放置 4.7.1. 使用容忍度来控制日志存储 pod 放置 4.7.2. 使用容忍度来控制日志可视化 pod 放置 4.7.3. 使用容忍度来控制日志收集器 pod 放置 23 23 24 24 24 24 24 24 25 25 CPU 和内存限值和请求。 根据需要指定日志收集器的 CPU 和内存限值及请求。 4.7. 使用容忍度来控制 OPENSHIFT LOGGING POD 放置 您可以使用污点和容限来确保 OpenShift Logging pod 在特定节点上运行，并确保其他工作负载不在这些 节点上运行。 污点和容忍度是简单的 key:value 对。节点上的污点指示节点排斥所有不容许该污点的 pod。 key 16Gi 第 第 4 章 章 配置日志部署 配置日志部署 67 1 2 3 此容忍度添加到 Elasticsearch Pod。 此容忍度添加到 Kibana Pod。 此容忍度添加到日志记录收集器 Pod。 4.7.1. 使用容忍度来控制日志存储 pod 放置 您可以通过在 pod 上使用容忍度来控制日志存储 pod 在哪些节点上运行，并防止其他工作负载使用这些 节点。 您可以通过

16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Resources 28-动态⽔平扩容 29-实战：使⽤K8s编排Wordpress博客 。⼀旦启⽤ TaintNodesByCondition ，scheduler将会忽略选择Node时的condition；⽽是看Node的taint（污点）和Pod的 toleration（容忍度）。 译者按： 1. “taints and tolerations” 的功能是允许你标注（taint）Node，那样Pod就不会调度到这个Node上，除⾮Pod明 确”tolerates”这个”taint”。 csdn.net/jettery/article/details/69500150 现在⽤户可在旧调度模型和新的更灵活的调度模型之间选择。没有toleration（容忍度）的Pod根据旧的模型进⾏调度。 但是，对特定Node能够容忍污点（tolerates the taints）的Pod可被调度到该Node。 请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调

配置日志存储 4.4. 配置日志可视化工具 4.5. 配置 OPENSHIFT LOGGING 存储 4.6. 为 OPENSHIFT LOGGING 组件配置 CPU 和内存限值 4.7. 使用容忍度来控制 OPENSHIFT LOGGING POD 放置 4.8. 使用节点选择器移动 OPENSHIFT LOGGING 资源 4.9. 配置 SYSTEMD-JOURNALD 和 FLUENTD CPU 和内存限值和请求。 根据需要指定日志收集器的 CPU 和内存限值及请求。 4.7. 使用容忍度来控制 OPENSHIFT LOGGING POD 放置 您可以使用污点和容限来确保 OpenShift Logging pod 在特定节点上运行，并确保其他工作负载不在这些 节点上运行。 污点和容忍度是简单的 key:value 对。节点上的污点指示节点排斥所有不容许该污点的 pod。 key 16Gi 第 第 4 章 章 配置日志部署 配置日志部署 97 1 2 3 此容忍度添加到 Elasticsearch Pod。 此容忍度添加到 Kibana Pod。 此容忍度添加到日志记录收集器 Pod。 4.7.1. 使用容忍度来控制日志存储 pod 放置 您可以通过在 pod 上使用容忍度来控制日志存储 pod 在哪些节点上运行，并防止其他工作负载使用这些 节点。 您可以通过

- 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 Bigtable、Tera等存储系统 - 使Master无状态 • 非最底层系统都可以设计无状态Master - Master分布化 • BFS选择的解决方案 NameServer Cluster 故障容忍 • 设备都是会坏的 - 假设的服务器MTBF是30年 - 搭建一个1万台服务器的系统 - 每一两天就坏一个 • 典型数据中心 - 过热：5分钟内数千台机器宕机 - 供电异常： 500~1000台机器突然消失 - Partition Tolerance 分区 容忍性 • 分布式系统 - 容忍网络隔离是必须的 - CP、AP Quorum机制 • Quorum写（NWR） - Write 写成功W副本 - Read 读R副本 - W+R>N，就不会丢失更新 • 一致性协议 - Paxos - Raft CAP到CAD的演变 • 必须容忍网络隔离 - CAP->CA • 跨地域的延迟

#查看定义的deployment ★DaemonSet控制器 DaemonSet用于在集群中的全部节点上同时运行一份指定的pod副本（master打 了污点，所以默认不运行，可以设置容忍度）后续新加入集群的工作节点也会 自动创建一个相关的pod副本，这些pod一般是执行系统级操作任务的服务，如 应用代理，监控，日志收集等 # vi monit.daemonset.yml dep-an�-affinity-test1.yml 下图可见要求3个副本数，结果只有2个可用node，导致有一个pod处于Pending 状态 ③污点和容忍度 在某node上（含master结点）打上污点，可以驱逐其上运行的pod pod上的容忍度如果匹配了某些污点，则就算node上有此污点，也可调度此pod # kubectl taint node 结点名 keyxx=valuexx:NoSchedule t说明，value可省略 effect效应说明主要包含以下三种类型： NoSchedule 不能容忍此污点的新pod不会调度到此Node上，已有 的pod不影响 NoExecute 不能容忍此污点的新pod不会调度到此Node上，已有 的pod被驱逐 PreferNoSchedule 不能容忍此污点的新pod尽量不调度到此Node上，已 有的pod不影响 若无其他结点可调度，则也可调度到此Node上

能够访问远端存储系统。如 BOS 或 HDFS。关于具体信息，可参阅 Broker 文档。 指定导入的相关参数。目前支持以下参数： 导入超时时间。默认为 4 小时。单位秒。 最大容忍可过滤（数据不规范等原因）的数据比例。默认零容忍。取值范围为 0 到 1。 导入内存限制。默认为 2GB。单位为字节。 是否对数据进行严格限制。默认为 false。 指定某些受时区影响的函数的时区，如 等等，具体请查阅 列的映射，转换与过滤 文档。 5. 错误数据过滤 Doris 的导入任务可以容忍一部分格式错误的数据。容忍了通过 设置。默认为0，即表示当有一条错误数据 时，整个导入任务将会失败。如果用户希望忽略部分有问题的数据行，可以将次参数设置为 0~1 之间的数值，Doris 会自动 跳过哪些数据格式不正确的行。 关于容忍率的一些计算方式，可以参阅 列的映射，转换与过滤 文档。 6. 严格模式 用于指定文件列和表中列的映射关系，以及各种列转换等。关于这部分详细介绍，可以参阅 列的映射，转换与过滤 文档。 根据条件对导入的数据进行过滤。关于这部分详细介绍，可以参阅 列的映射，转换与过滤 文档。 最大容忍可过滤（数据不规范等原因）的数据比例。默认零容忍。取值范围为 0 到 1。 指定需要导入的分区。 指定导入的超时时间。单位秒。默认是 600 秒。可设置范围为 1 秒 ~ 14400 秒。 是否对数据进行严格限制。默认为

检查 Azure 磁 磁盘 盘卷的最大数量。 卷的最大数量。 PodToleratesNodeTaints predicate 检查 检查 pod 是否可以容忍 是否可以容忍节 节点 点污 污点。 点。 CheckNodeUnschedulable predicate 会 会检查 检查 pod 是否可以 是否可以调 调度到具有 度到具有 pod 来 来说 说是相同 是相同 的。 的。 PodToleratesNodeNoExecuteTaints predicate 检查 检查 pod 容限是否容忍 容限是否容忍节 节点 点 NoExecute 污 污点。 点。 3.2.3.1.2. 常 常规 规 predicates 下列常 下列常规 规 predicates 检查 TaintTolerationPriority 优 优先 先级为 级为 pod 优 优先 先选择 选择那些在 那些在节 节点上具有 点上具有较 较少 少 intolerable（不可容忍） （不可容忍）污 污 点的 点的节 节点。不可容忍的 点。不可容忍的污 污点是具有 点是具有 PreferNoSchedule 键 键的 的污 污点。 点。 ImageLocalityPriority

普通顺序消息 顺序消息的一种，正常情冴下可以保证完全的顺序消息，但是一旦収生通信异常，Broker 重启，由亍队列 总数収生发化，哈希叏模后定位的队列会发化，产生短暂的消息顺序丌一致。 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 换为主避免，丌过仍然会存在几分钟的服务丌 可用。（依赖同步双写，主备自劢切换，自劢切换功能目前迓未实现） 目前已知的应用只有数据库 binlog 同步强依赖严格顺序消息，其他应用绝大部分都可以容忍短暂乱序，推 荐使用普通的顺序消息。  Message Queue 项目开源主页：https://github.com/alibaba/RocketMQ 4 在 RocketMQ 求消息中间件具有一定的消息堆积能力，消息堆积分以下两种情冴： (1). 消息堆积在内存 Buffer，一旦超过内存 Buffer，可以根据一定的丢弃策略来丢弃消息，如 CORBA Notification 规范中描述。适合能容忍丢弃消息的业务，返种情冴消息的堆积能力主要在亍内存 Buffer 大小，而丏消息 堆积后，性能下降丌会太大，因为内存中数据多少对亍对外提供的访问能力影响有限。 (2). 消息堆积到持丽化存储系统中，例如

中提供 了与此表中名称相同的标签，您的标签将会被覆盖。 nodeSelector：一个选择器，必须为 true 才能使构建 Pod 适合节点。 tolerations：一个容忍度列表，覆盖构建 Pod 上设置的现有容忍度。 BuildList items：标准对象的元数据。 12.2. 配置构建设置 您可以通过编辑 build.config.openshift.io/cluster 资源来配置构建设置。 中提供了与此表中名 称相同的标签，您的标签将会被覆盖。 nodeSelector：一个选择器，必须为 true 才能使构建 Pod 适合节点。 tolerations：一个容忍度列表，覆盖构建 Pod 上设置的现有容忍度。 第 第 12 章 章 构 构建配置 建配置资 资源 源 85 第 13 章 构建故障排除 使用以下内容来排除构建问题。 13.1. 解决资源访问遭到拒绝的问题 如果您的资源访问请求遭到拒绝：