云+社区技术沙龙 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 解决方案 Pod 压缩 Node 超卖 HPA VPA 动态 调度 碎片 处理 Pod 资源压缩 • MutatingAdmission VPAPlus • 动态调整Container Cgroup • requets 和 limit 比例设置 • Resource Range设置 • CheckPoint对象timeout时间 • Pod对象更新时间 ` • 资源合法性校验 THANKS 关注云加社区公众号

客户 业务价值 工程师价值 客户价值 如何上云？ --提升上云效率，降低迁移风险 业务上云策略 CLB 接入服务 业务 服务框架 Redis/CKV COS Docker/K8S/TKE CKafka CDB/Mysql IEG PCG WXG CDG CISG TEG ⚫公有云专线与自研互通 ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 ⚫使用云原生PaaS ⚫边上云边改造 Mesh K8S（TKE） 云原生方法 业务最佳实践 K8S（TKE） K8S（TKE）+业务画像 K8S（TKE） ⚫ 云原生计算基金会（CNCF），2015年由谷歌牵头成立，第一个毕业的项目Kubernetes。 ⚫ 在云上生长的应用，不是一个产品，而是一套技术体系和一套方法论。 ⚫ 包括DevOps、持续集成（CI）、持续交付（CD）、微服务、云基础设施（IaaS）、容器（K8S）、12要素等几大主题。 容器权限同步 PAAS服务支持 数据库 消息中间件 大数据 TKE应用适配 •基于业务维度管理 •关联CMDB •基于业务维度鉴权 业务管理 •使用Ipamd •采用弹性网卡 •实现Pod IP跨集群访问 网络 •支持CLB •支持L5/CMLB •支持VIP 路由与服务发现 •StatefulsetPlus •原地重启 分批发布 •接口证书认证 •基于RBAC授权

export KUBECONFIG=$HOME/admin.conf 6. Install Weave Net as the Pod Networking Layer In this section, you will install a Weave Net pod network so that your pods can communicate with each other. Install apply -f “https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d ‘\n’)” Confirm that the pod network is working and that the kube-dns pod is running: kubectl get pods --all-namespaces --all-namespaces Once the kube-dns pod is up and running, you can join all of the nodes to form the cluster. Part 1: Spin up a Kubernetes Cluster eBook 19 7. Join the Nodes to the Master The nodes are

declarative GitOps continuous delivery tool for Kubernetes https://argoproj.github.io/argo-cd/ MyApp k8s manifest MyApp 1. Commit 5. Call ArgoCD to sync MyApp source code 2. Trigger CI 3. Updates App Advanced deployment CRD for Blue Green and Canary on K8s https://argoproj.github.io/argo-rollouts/ ● Autoscaling: Anti-affinity and horizontal pod scaling MyApp rollout manifest Current State 1. Commit

match the desired state again. BENEFITS OF GITOPS FOR KUBERNETES Kubernetes, also known as K8s, is an open-source system for automating the deployment, scaling, and management of containerized It basically creates a new replica set. While the new replica set is creating the Kubernetes pod with the new version, the old replica set scales down the old one. There are some challenges with

Gen8，DL 580 Gen8, DL 380 Gen9, DL 580 Gen8  IBM：IBM X3650M4  Inspur：5280M4，8480M4  容器云方面，支持 k8s, OpenShift 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 47 图 48: 支持的基础架构平台插件 1 图 49: 支持的基础架构平台插件 2 具体各个虚拟化云平台的服务支持如表 对象存储服务模块 实现支持公有云对象存储通的在线服务，审批、自动化部署以及 生命周期管理，以及对象文件的上传下载和管理。 容器云集群服务模块 实现容器云纳管，同步容器云节点信息、命名空间以及 Pod 信息， 容器云集群自服务及生命周期管理 工单中心模块 用于提交人工操作处理的 IT 请求，可按需自定义工单表单，按需 配置流程，流程环节通知。 大屏模块 包括运营费用大屏、资源使用大屏以及容量性能健康大屏，可配

企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会 贡献者流程优化 2022 年 9 月 场 景 深 化 能 力 增 强 Helm/K8s YAML/ 托管场景接入流程优化 UX/UI 升级，工程师一线体验优化 推出效能看板，实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023 年 面向生态伙伴开放场景 2. 在 Rancher 上手动替换版本 3. 不透明的测试环境导致大量问题 4. 为每一次部署维护一个 Chart 版本 现状 效能提升场景： 2K+ 微服务、多语言、 Helm 、 K8s 多集群 1. 开发流程 提交代码到 Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂 的脚本 ） -> -> Rancher 境 。 字节跳动 - 飞书场景一：主干开发主干发布 工具链： 飞书 + Gerrit + Zadig + 内部发布平台 技术栈： Go +git （ yml ） + 多集群 K8s 分支策略： 单分支 master 开发 环境策略： 4 套同构环境动态分配 测试管理： 500 API+E2E cases 字节跳动 - 飞书场景二： Gerrit +

Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会 贡献者流程优化 2022年9月 场 景 深 化 能 力 增 强 Helm/K8s YAML/托管场景接入流程优化 UX/UI 升级，工程师一线体验优化 推出效能看板，实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023年 面向生态伙伴开放场景 维护大量复杂的脚本 2. 在 Rancher 上手动替换版本 3. 不透明的测试环境导致大量问题 4. 为每一次部署维护一个Chart 版本 现状 效能提升场景：2K+微服务、多语言、Helm、K8s 多集群 1. 开发流程 提交代码到 Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂的 脚本 ）-> -> Rancher 上手动替换 Helm Chart 发 版 生 产 环 境 。 字节跳动 - 飞书场景一：主干开发主干发布 工具链： 飞书 + Gerrit + Zadig + 内部发布平台 技术栈： Go +git（yml）+多集群 K8s 分支策略： 单分支 master 开发 环境策略： 4 套同构环境动态分配 测试管理： 500 API+E2E cases 字节跳动 - 飞书场景二： Gerrit + Zadig 方案

Benefits 5 GitOps is for Everyone Developers Operations Kubernetes Cluster Node 1 Kubernetes (K8s) is an open-source system for automating deployment, scaling, and management of containerized applications ● Deployment manifests are standard k8s manifests ● Avoid duplication of yaml across environments ● Manifests should be applied with standard Openshift and k8s tooling Day 2 operations : All changes

GITOPS CONTROL PLANE 工作 工作负载 负载 1.1. 将 GITOPS CONTROL PLANE 工作负载移到基础架构节点 1.2. 将 GITOPS OPERATOR POD 移到基础架构节点 1.3. 其他资源 3 3 4 6 目 目录 录 1 Red Hat OpenShift GitOps 1.13 基 基础 础架 架构节 构节点上的 点上的 GitOps 单独的维护和管理 您可以使用 OpenShift Container Platform 在基础架构节点上运行 GitOps control plane 工作负载。默认 情况下，这包括 Operator pod 和由 openshift-gitops 命名空间中的 Red Hat OpenShift GitOps Operator 创建的 control plane 工作负载，包括此命名空间中的默认 Argo 命名空间中的基础架构节点上，请点击任何 pod 名称，并确保已添加了 Node selector 和 Tolerations。 注意 注意 在默认 Argo CD CR 中手动添加节 节点 点选择 选择器 器和 Tolerations 都会被 GitOpsService CR 中 的切换和容限覆盖。 1.2. 将 GITOPS OPERATOR POD 移到基础架构节点 您可以将 GitOps