13 基础架构节点上的 GitOps 工作负载 在基础架构节点上运行 GitOps control plane 工作负载 Last Updated: 2024-07-09 Red Hat OpenShift GitOps 1.13 基础架构节点上的 GitOps 工作负载 在基础架构节点上运行 GitOps control plane 工作负载 法律通告 法律通告 Copyright are the property of their respective owners. 摘要 摘要 本文档提供在 OpenShift GitOps 安装的基础架构节点上运行某些工作负载的说明。它还讨论如何将 默认工作负载移到基础架构节点。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PLANE 工作 工作负载 负载 1.1. 将 GITOPS CONTROL PLANE 工作负载移到基础架构节点 1.2. 将 GITOPS OPERATOR POD 移到基础架构节点 1.3. 其他资源 3 3 4 6 目 目录 录 1 Red Hat OpenShift GitOps 1.13 基 基础 础架 架构节 构节点上的 点上的 GitOps 工作 工作负载 负载 2 第

........................................64 6 云负载均衡在线申请部署及操作变更回收...................................................................... 66 6.1 申请公有云负载均衡实例.............................................. ................................. 69 6.3 查看查找公有云负载均衡实例..............................................................................69 6.4 删除公有云负载均衡实例................................................ ................................... 70 7 F5 负载均衡配置在线申请及变更删除............................................................................ 72 7.1 申请 F5 负载均衡 VS 实例.......................................

............22 2.3.5 云安全组在线申请部署及操作、变更、回收..............................................22 2.3.6 云负载均衡在线申请部署及操作、变更、回收.......................................... 22 2.3.7 云 RDS 在线申请部署及操作、变更、回收......... 地址、将资源信息同步加入到 CMDB、堡垒机、应用部署平台 等运维工具，部署配置监控代理、备份代理，挂载到负载均衡，因此造成流程链路较长，协 作沟通成本高、排期等待时间比较长的问题。 通过云管平台整合 CMDB、堡垒机等运维工具，在部署虚拟机等资源后，能够按预置 策略自动同步管理信息到运维工具，自动部署监控代理、备份代理，配置负载均衡，能够有 效减少协作流程链路，简化流程，降低协作沟通成本，缩短交付时间。 1.3 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 支持 虚拟机部署后自动部署运维工具代理 支持 虚拟机部署后自动注入管理信息到堡垒机并配置授权 集成开发支持 虚拟机部署后自动同步虚拟机信息到 CMDB 集成开发支持 虚拟机部署后自动配置 F5 负载均衡 支持 虚拟机部署后自动配置公有云负载均衡 支持 公有云私有云安全组申请部署、变更

QoS 的影响。 • CPU QoS 优先级负载均衡特性：在线、离线混部 CPU QoS 隔离增强 , 支持多核 CPU QoS 负载均衡，进一步降低离线 业务 QoS 干扰。 • 潮汐 affinity 调度特性：感知业务负载动态调整业务 CPU 亲和性，当业务负载低时使用 prefered cpus 处理，增强资 源的局部性；当业务负载高时，突破 preferred cpus 范围限制，通过增加 响较大，容易存在误报。 • 过大，容易因为优先级反转问题导 致系统卡住时间过长。 2) /proc/sys/kernel/qos_offline_wait_interval_ms 描述 : 离线任务在超负载情况下返回用户态时，每次睡眠的时间，单位 ms。 范围 : 100—1000 默认值 : 100 配置建议 : • 过长，可能会导致在线任务停止运行后，离线任务处于 sleep 状态，CPU 22.03 LTS SP2 技术白皮书 内核创新 CPU QoS 优先级负载均衡特性 负载均衡 FIFO 任务迁移队列不区分优先级，无法解决跨核迁移抢占保障高优先级，特别是 CPU 敏感型任务的优先调 度，针对在线、离线容器混部场景下，CFS 负载均衡需要提出一种优先级队列模型，支持高低优先级的 QoS 负载均衡，确 保在线业务能更快得到调度和执行，最大化压制离线任务的 QoS 干扰，提高整机

管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互，收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器，利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离：比如 r的在线状态（online, unstable, offline） • 记录chunkserver定期上报的状态信息（磁盘容量，磁盘负载，copyset负载等），以提供运维工 具查看上述状态信息。 • 通过上述信息的定期更新，作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch， 检测chunkserver的copyset与mds差异，同 OFFLINESCHEDULE Schedule（系统调度）是为了实现系统的自动容错和负载均衡，这两个功能是分布式 存储系统的核心问题，也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常（如坏盘、机器宕机）导致的数据丢失不依赖人工处理，可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现

展即虚拟化平台之后的更先进的私有基础架构平台，以 OpenStack 为代 表，相比虚拟化平台，提供了网络、安全组等开箱即用在线服务管理能力 和工具。一些私有云平台如青云，还提供 RDS、负载均衡服务。常见私有 云: OpenStack、青云、华为 HCS、HSC Online、EasyStack 等。 杭州飞致云信息科技有限公司 8 公有云平台 部署在云服务提供商数据中心，为市场公众企业客户提供服务被多个企业 云捷讯等。 青云 一个国产商业化私有云平台，公有云平台。 云管理平台 是一种统一纳管虚拟化平台、私有云、公有云，整合对外提供在线运行环 境服务及全生命周期管理的平台。 F5 主流的硬件负载均衡产品，一直以来市场占有率非常高，直到 2021 年 3 月才被深信服超越。 华为 Agile Controller 华为硬件 SDN 产品 容器云 指 k8s 容器云管理平台 常见的容器云管理平台有 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的虚拟机、 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、运行在一 个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在

AWS 费用管理（aws-billing-data） AWS 费用可视化分析、优化及分摊 物理机管理（physical-machine） 物理机自动发现及自助申请 负载均衡（loadbalancer-service） 负载均衡自服务及资源管理 数据库服务（paas-service） 数据库自服务、资源池管理及运营 2.1.4 模块镜像 杭州飞致云信息科技有限公司 7 2.2 组件间关系 CloudExplorer 节点服务器需要开通的访问端口如下： 端口 作用 说明 22 SSH（可以修改为其他） 安装、升级及管理使用 80/443 CloudExplorer Web 服务端口 开放给负载均衡层对接 杭州飞致云信息科技有限公司 10 7600/8080 CloudExplorer IdP 服务端口 idP 服务端口 8080，集群高可用 端口 7600 9090 Prometheus 硬盘; 数据存储 目录可用空间大于 300G 2 MYSQL 5.7.32+ 可使 用公有云 RDS 等服务 负载均衡 CentOS/RHEL 7.* 64 位系统，4 核/8G 内存/100G 硬盘 2 Nginx+keepaliv e 可使用现有 的 负载均衡设备， 如：F5 4.2 部署方法工具 4.2.1 单机部署 1) 复制离线包到目标机器 将离线包复制到目标机器的

affinity 调度特性：感知业务负载动态调整业务 CPU 亲和性，当业务负载低时使用 prefered cpus 处理，增强资 源的局部性；当业务负载高时，突破 preferred cpus 范围限制，通过增加 CPU 核的供给提高业务的 QoS。 • CPU QoS 优先级负载均衡特性：在离线混部 CPU QoS 隔离增强，支持多核 CPU QoS 负载均衡，进一步降低离线业 务 QoS 干扰。 在线业务不受离线业务的影响。 • 可编程调度：基于 eBPF 的可编程调度框架，支持内核调度器动态扩展调度策略，以满足不同负载的性能需求，具备 以下特点： （1） 标签管理机制：开放对任务和任务组进行标签标记的能力，用户和内核子系统可通过接口对特定工作负载进行 标记，调度器通过标签可以感知特定工作负载的任务。 （2） 抢占、选核、选任务等功能点的策略扩展：可编程调度框架支持 CFS 调度类抢占、选核、选任务等功能的策略扩展， 量。当一个进程组使用的内存超过了 Memcg 的限制时，Memcg 会触发内存回收，以确保系统的稳定性和可靠性。Memcg 异步回收是一种优化机制，它 可以在系统负载较低的时候，异步地回收 Memcg 中的内存，以避免在系统负载高峰期间出现内存回收的延迟和性能 问题。这种机制可以提高系统的稳定性和可靠性，同时也可以提高系统的性能和响应速度。 • 支持 filescgroup：Cgroup files

JumpServer 设计架构及组件功能 Load Balancer Lina Luna（Web Terminal） Chen CORE MySQL / Redis 本地存储 云存储 负载 接⼊ 核⼼ 数据 存储 KoKo Lion Razor Magnus Magnus 组件⽀持数据库代理直连⽅式连接数据库 安全认证 客户端过滤 SQL 过滤 SQL 录像 SQL 超⼤规模分布式资产⽀持 - ⽀持多分⽀、多区域的集群分布式互联部署 - 特⾊功能 统⼀存储 智能 DNS 负载均衡 JS - 1 JS - 2 JS - N Redis 集群 MySQL 集群 domain.jumpserver.com branch1.jumpserver.com 负载均衡 JS - A JS - B JS - N 核⼼区域 分⽀区域 注册 云存储 ⽀持审计录像的云端存储 堡垒机企业版（旗舰）不限资产数量，包含 X- Pack 增强包和原⼚企业级⽀持服务（增强级）。 ⽀持单机、热备或⾼ 可⽤三种部署⽅式 按套 按年 提示：⾮旗舰版⽀持热备份（Keeplived、负载均衡模式等）、应⽤组件⾼可⽤、K8S 集群部署等模式，需要额外的实施及维护费⽤。 企业级⽀持服务内容（增强级） ⽀持服务 7×24 ⼯单及电话⽀持服务，1 个⼩时内响应客户⼯单；接到故障申报后，⼯程师通过电话⽀持、远程接

通过心跳维持mds和chunkserver/metaserve的 数据交互 • mds发起配置变更，copyset复制组执行 • 在curve自动容错和负载均衡时，需要进行raft配 置变更。 • 自动容错保证常见异常（如坏盘、机器宕机）导 致的数据丢失不依赖人工处理，可以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内 存等资源的利用率最大化。 Curve块存储和文件存储的配置变更实现基本一致CURVE的RAFT配置变更 AFT配置变更 异常场景下配置变更 • ReplicaSchedule • RecoverSchedule 均衡场景下配置变更 • CopySetSchedule • LeaderSchedule • RapidLeaderSchedulerCURVE的RAFT配置变更 异常场景下配置变更 • ReplicaSchedule (a, b) -> (a, b, c) or (a, b 替换不能提供服务的serverCURVE的RAFT配置变更 均衡场景下配置变更 • CopySetSchedule (a, b, c) -> (a, b, d) 每个chunkserver上的copyset个数尽量均衡 • LeaderSchedule (a(leader), b, c) -> (a, b(leader) , c) 每个chunkserver上的leader copyset个数尽 量均衡。 • RapidLeaderScheduler