禁用透明巨页 第 第 14 章 章 低延 低延迟节 迟节点的 点的 PERFORMANCE ADDON OPERATOR 14.1. 了解低延迟 14.2. 安装 PERFORMANCE ADDON OPERATOR 14.3. 升级 PERFORMANCE ADDON OPERATOR 14.4. 置备实时和低延迟工作负载 14.5. 使用性能配置集调整节点以实现低延迟 14.6. 使用 PERFORMANCE NIC 队列 14.7. 调试低延迟 CNF 调整状态 14.8. 为红帽支持收集调试数据延迟 第 第 15 章 章 为 为平台 平台验证执 验证执行延 行延迟测试 迟测试 15.1. 运行延迟测试的先决条件 15.2. 关于延迟测试的发现模式 15.3. 测量延迟 15.4. 运行延迟测试 15.5. 生成延迟测试失败报告 15.6. 生成 JUNIT 延迟测试报告 15.7. 在单节点 在单节点 OPENSHIFT 集群上运行延迟测试 15.8. 在断开连接的集群中运行延迟测试 15.9. 对 CNF-TESTS 容器的错误进行故障排除 78 78 78 80 80 82 83 84 87 87 87 90 90 92 92 94 94 94 95 96 96 96 100 100 100 101 103 104 106 106 106

Elasticsearch Cluster Health 是红色 12.5.2. Elasticsearch Cluster Health 为黄色 12.5.3. 已达到 Elasticsearch 节点磁盘低水位线 12.5.4. 已达到 Elasticsearch 节点磁盘高水位线 12.5.5. 已达到 Elasticsearch 节点磁盘的洪水水位线 12.5.6. Elasticsearch JVM JVM 堆使用率是高 12.5.7. 聚合日志记录系统 CPU 为高 12.5.8. Elasticsearch 进程 CPU 为高 12.5.9. Elasticsearch 磁盘空间现为低 12.5.10. Elasticsearch FileDescriptor 使用为高 第 第 13 章 章 卸 卸载 载 OPENSHIFT LOGGING 13.1. 从 OPENSHIFT CONTAINER Elasticsearch Operator (EO)： 已达到 Elasticsearch 节点磁盘低水位线 已达到 Elasticsearch 节点磁盘高水位线 已达到 Elasticsearch 节点磁盘的洪水水位线 当 Elasticsearch 节点预计在未来 6 小时内将到达磁 磁盘 盘低水位 低水位线 线、磁 磁盘 盘高水位 高水位线 线或磁 磁盘 盘洪水 洪水 Stage 水位 水位线

网络堆栈可以动态使用非保留 CPU。默认情况下，这种非保留 CPU 的动态使用发生在机器配置池中应用有性能配置集的节点。可用的非保留 CPU 的动态使用可最大化 OVS 的计算资源，并在高需求期间为工作负载最小化网络延迟。OVS 仍然无法在 Guaranteed QoS pod 中动态使用分配给容器的隔离 CPU。这种分离可避免对关键应用程序工作负载造成中断。 注意 注意 当 Node Tuning Operator 识别性能条件来激活使用非保留 CPU 时，OVN-Kubernetes 配 置 CPU 上运行的 OVS 守护进程的 CPU 关联性对齐。在这个窗口中，如果一个 Guaranteed QoS pod 启动，它可能会遇到延迟激增。 1.3.9.5. 多个 多个 IP 地址的双 地址的双栈 栈配置 配置 在以前的 Whereabouts IPAM CNI 插件版本中，每个网络接口只能分配一个 IP 地址。 现在，Whereabouts (PAO) must-gather 镜像不再需要作为 must-gather 命令 的参数，以捕获与低延迟调整相关的调试数据。PAO must-gather 镜像的功能现在在没有镜像参数的 must-gather 命令使用的默认插件镜像下。有关收集与低延迟调整相关的调试信息的更多信息，请参阅为 红帽支持收集低延迟调试数据。 1.3.21.2. 使用 使用 Operator 的 的 must-gather

Container Platform 中，您无法更改无限期重试行 为。 这些参数可帮助您权衡延迟和吞吐量之间的利弊。 要优化 Fluentd 的吞吐量，您可以使用这些参数通过配置较大的缓冲和队列、延迟清除以及设置 重试间隔间的更多时间来减少网络数据包的数量。请注意，大型缓冲区需要在节点文件系统有更 多空间。 要优化低延迟，您可以使用参数尽快发送数据，避免批量的构建，具有较短的队列和缓冲，并使 用更频繁的清理和重试。 Immediate: 在将数据添 加到一个块后马上清理 块。 interval flushThreadCount 执行块清除（flushing）的线程数 量。增加线程数量可提高冲刷吞吐 量，这会隐藏网络延迟的情况。 2 overflowAction 当队列满时块的行为： throw_exception：发 出一个异常并在日志中显 示。 block：停止对数据进行 块除了，直到缓冲区已用 完的问题被解决为止。 时，Elasticsearch 会在可能的情况下将现有分片重新定位到其他节点。但是，如果存储消耗低于 85％ 时无节点有可用存储 空间，Elasticsearch 会拒绝创建新索引并且变为 RED。 注意 注意 这些高、低水位线值是当前版本中的 Elasticsearch 默认值。您可以修改这些默认值。虽然 警报使用相同的默认值，但无法在警报中更改这些值。 4.5.2. 其他资源 为日志存储配置持久性存储 4.6

重要 重要 并行行为可能会认为内容源，如您的镜像 registry 或 Red Hat Satellite 服务器。准备服务 器的基础架构 pod 和操作系统补丁可帮助防止出现这个问题。 从最低延迟控制节点（LAN 速度）运行安装程序。不建议在广域网络(WAN)上运行，因此不会因为丢失 的网络连接运行安装。 Ansible 为 性能和扩展提供了自己的指导，包括使用 RHEL 6.6 或更高版本来确保 etcd。 通过以下方法优化此流量路径： 在 master 主机上运行 etcd。默认情况下，etcd 在所有 master 主机上的静态 pod 中运行。 确保 master 主机之间有一个不协调、低延迟 LAN 通信链接。 OpenShift Container Platform master 会积极缓存资源的反序列化版本，以简化 CPU 负载。但是，如果 较小的 pod 集群小于 1000 个 [1]、Azure 磁 盘 File 在 OS 中作为要挂载的文件系统导出 也称为网络附加存储（Network Attached Storage，NAS） 取决于不同的协议、实现、厂商及范围，其并 行性、延迟、文件锁定机制和其它功能可能会 有很大不同。 聚合模式/独立于模式 GlusterFS [1], RHEL NFS, NetApp NFS [2], Azure File, Vendor NFS

放置到过量使用的节点 3.5.1. 了解过量使用 3.5.2. 了解节点过量使用 3.6. 使用节点污点控制 POD 放置 3.6.1. 了解污点和容限 3.6.1.1. 了解如何使用容限秒数来延迟 pod 驱除 3.6.1.2. 了解如何使用多个污点 3.6.1.3. 了解 pod 调度和节点状况（根据状况保留节点） 3.6.1.4. 了解根据状况驱除 pod（基于垃圾的驱除） 3.6 的重要程度，并根 的重要程度，并根 据 据这 这个 个优 优先 先级对 级对 pod 进 进行 行队 队列 列处 处理。 理。pod 抢 抢占允 占允许 许集群 集群驱 驱除或 除或抢 抢占 占较 较低 低优 优先 先级 级 pod，以便在合适的 ，以便在合适的节 节点 点 pod 上没有可用空 上没有可用空间时 间时，可以 ，可以调 调度 度优 优先 先级较 级较高的 高的 pod，并影 ，并影响节 优先 先级较 级较低的其他待 低的其他待处 处理 理 pod 的前面。因此，如果 的前面。因此，如果达 达到 到调 调度要求， 度要求，较 较高 高优 优先 先级 级的 的 pod 可能比 可能比 低 低优 优先 先级 级的 的 pod 更早 更早调 调度。如果 度。如果 pod 无法 无法调 调度， 度，调 调度程序会 度程序会继续调 继续调度其他 度其他较 较低 低优 优先 先级 级 pod。

字符串值可以是单元的组合（如 0.5h10m），并被 CoreDNS 转换为相应秒数。如果省略了 此字段，则假定该值为 0s，集群将使用内部默认值 30s 作为回退。 警告 将 TTL 字段设为低值可能会导致集群、任何上游解析器或两者中负载的增 加。 $ oc edit dns.operator.openshift.io/default apiVersion: operator.openshift 如果把这个值设置得太短，对于 edge-terminated, reencrypted, 或 passthrough 的路由，则可能会导致路由器回退到使用默认证书，即使 正在使用一个更加匹配的证书时也是如此。默认检查延迟为 5s。 tunnelTimeout 指定隧道连接在隧道闲置期间保持打开的时长，包括 websockets。默认超时为 1h。 maxConnections 指定每个 HAProxy 进程可建立的最大同时连接 Controller 配置了自定义默认证书。 流程 流程 要删除自定义证书并恢复 OpenShift Container Platform 附带的证书，请输入以下命令： 集群协调新证书配置时可能会有延迟。 验证 验证 要确认原始集群证书已被恢复，请输入以下命令： 其中： 指定集群的基域名。 输出示例 apiVersion: operator.openshift.io/v1

remove\n path: /spec/defaultCertificate' OpenShift Container Platform 4.9 网 网络 络 40 集群协调新证书配置时可能会有延迟。 验证 验证 要确认原始集群证书已被恢复，请输入以下命令： 其中： 指定集群的基域名。 输 输出示例 出示例 6.8.3. 扩展 Ingress Controller Container Platform 之外的日志记录基础架构集成，您可以将日志转发到自定义 syslog 端点。您还可以指 定访问日志的格式。 当不存在 Syslog 日志记录基础架构时，容器日志记录可用于在低流量集群中启用访问日志，或者在诊断 Ingress Controller 时进行简短使用。 对于访问日志可能会超过 OpenShift Logging 堆栈容量的高流量集群，或需要任何日志记录解决方案与现 时钟可以读取和写入时间戳。 Boundary 时钟 时钟 Boundary（边界）时钟在两个或更多个通信路径中具有端口，并且可以是指向其他目标时钟的源和目 标。边界时钟作为上游目标时钟工作。目标时钟接收计时消息，针对延迟进行调整，然后创建一个新 OpenShift Container Platform 4.9 网 网络 络 88 的源时间信号来传递网络。边界时钟生成一个新的计时数据包，它仍然与源时钟正确同步，并可减少

放置到过量使用的节点 3.6.1. 了解过量使用 3.6.2. 了解节点过量使用 3.7. 使用节点污点控制 POD 放置 3.7.1. 了解污点和容限 3.7.1.1. 了解如何使用容限秒数来延迟 pod 驱除 3.7.1.2. 了解如何使用多个污点 3.7.1.3. 了解 pod 调度和节点状况（根据状况保留节点） 3.7.1.4. 了解根据状况驱除 pod（基于垃圾的驱除） 3.7 pod 优先级与抢占功能时，调度程序会根据优先级来调度待处理 pod，而待处理 pod 会放在调 度队列中优先级较低的其他待处理 pod 的前面。因此，如果达到调度要求，较高优先级的 pod 可能比低 优先级的 pod 更早调度。如果 pod 无法调度，调度程序会继续调度其他较低优先级 pod。 2.9.1.1. Pod 优 优先 先级类 级类 您可以为 pod 分配一个优先级类，它是一种非命 中断预算的前提下抢占 pod。如果找不到这样的 pod，则可能会无视 pod 中断预算要求而抢占较 低优先级 pod。 pod 优 优先 先级 级和 和 pod 关 关联 联性 性 pod 关联性要求将新 pod 调度到与具有同样标签的其他 pod 相同的节点上。 如果待处理 pod 与节点上的一个或多个低优先级 pod 具有 pod 间关联性，调度程序就不能在不违反关联 要求的前提下抢占较低优先级

Controller 配置了自定义默认证书。 流程 流程 要删除自定义证书并恢复 OpenShift Container Platform 附带的证书，请输入以下命令： 集群协调新证书配置时可能会有延迟。 验证 验证 要确认原始集群证书已被恢复，请输入以下命令： 其中： $ echo Q |\ openssl s_client -connect console-openshift-console Container Platform 之外的日志记录基础架构集成，您可以将日志转发到自定义 syslog 端点。您还可以指 定访问日志的格式。 当不存在 Syslog 日志记录基础架构时，容器日志记录可用于在低流量集群中启用访问日志，或者在诊断 Ingress Controller 时进行简短使用。 对于访问日志可能会超过集群日志记录堆栈容量的高流量集群，或需要任何日志记录解决方案与现有 Syslog 日志记录基础架构集成的环境，则需要 CR，如下例所示。 3. 保存您的更改，再退出文本编辑器以提交更改。 验证 验证 运行以下命令确认 CNO 创建了 NetworkAttachmentDefinition 对象。CNO 创建对象之前可能会 有延迟。 其中： 指定添加到 CNO 配置的网络附加的命名空间。 输 输出示例 出示例 $ oc edit networks.operator.openshift.io cluster