云+社区技术沙龙 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 解决方案 Pod 压缩 Node 超卖 HPA VPA 动态 调度 碎片 处理 Pod 资源压缩 • MutatingAdmission

....................... 176 7.4.4 添加 Tomcat9 非集群产品...........................................................................186 7.4.5 添加 MySQL5.7 主从集群产品............................................. 资源池用于定义限制资源部署分配的范围，比如哪个云平台资源池下、哪 个网络子网、哪个集群、哪些宿主机、哪些存储器。比如我们按部门分配 范围，一个部门申请的资源都部署到 VMware 资源池 A、集群 Cluster1、 VLAN 200、特定几台宿主机、存储器下，另一个部门申请的资源都部署 到 VMware 资源池 A、集群 Cluster2、VLAN 100 下、特定几台宿主机、 存储器下，可以 Tomcat、Weblogic、WebSphere  消息中间件: RabbitMQ、RocketMQ  分布式协调中间件: Zookeeper 数据库 包含几类数据库:  关系型数据库: MySQL、Oracle、DB2、SQLServer、PostGreSQL  缓存数据库: Redis、Memcache  文档数据库: CouchDB、MongoDB  列蔟数据库: Cassandra

.................................................................................. 23 3.3 申请中间件数据库集群.........................................................................................26 3.4 克隆虚拟机 资源池用于定义限制资源部署分配的范围，比如哪个云平台资源 池下、哪个网络子网、哪个集群、哪些宿主机、哪些存储器。比 如我们按部门分配范围，一个部门申请的资源都部署到 VMware 资源池 A、集群 Cluster1、VLAN 200、特定几台宿主机、存储 器下，另一个部门申请的资源都部署到 VMware 资源池 A、集群 Cluster2、VLAN 100 下、特定几台宿主机、存储器下，可以给 Tomcat、Weblogic、WebSphere  消息中间件: RabbitMQ、RocketMQ  分布式协调中间件: Zookeeper 数据库 包含几类数据库:  关系型数据库: MySQL、Oracle、DB2、SQLServer、 杭州飞致云信息科技有限公司 10 PostGreSQL  缓存数据库: Redis、Memcache  文档数据库: CouchDB、MongoDB

International Corp. or its subsidiaries in the United States and/or other countries. MySQL ® is a registered trademark of MySQL AB in the United States, the European Union and other countries. Node.js ® is 第 1 章 什么是 GITOPS？ GitOps 是为云原生应用程序实施持续部署的一种声明方式。您可以使用 GitOps 创建可重复进程，用于在 多集群 Kubernetes 环境间管理 OpenShift Container Platform 集群和应用程序。GitOps 以快速的速度处 理和自动化复杂部署，节省部署和发行周期期间的时间。 GitOps 工作流通过开发、测试、临时和生产环境来推送应用程序。GitOps GitOps 将基础架构和应用程序定义定义为代码。然后，它会使用此代码来管理多个工作区和集群来简化 基础架构和应用程序配置的创建过程。根据代码原则，您可以在 Git 存储库中存储集群和应用程序的配 置，然后按照 Git 工作流将这些存储库应用到所选集群中。您可以将在 Git 存储库中开发和维护软件的核 心原则应用到创建和管理集群和应用程序配置文件。 第 第 1 章 章 什么是 什么是 GITOPS？ ？

全新的远程应⽤设计体系，⽀持⾃动管理远程应⽤（MySQL Workbench8、Navicat Premium 16 (X-Pack) ）和⼀键部署远程应⽤发布机； 作业中⼼ ⽀持对批量资产执⾏快捷命令、命令脚本以及 Playbook 脚本； 个性化设置（X-Pack） ⽀持⾃定义 LOGO 与主题； 数据库资产连接 MariaDB、MySQL、Redis、MongoDB； Oracle、SQL Database Auditing 连接⽅式 命令⾏⽅式 数据库代理直连⽅式，可使⽤数据库管理⼯具（例如 Navicat、SQLyog 等）进⾏直连操作 Web GUI ⽅式 远程应⽤ ⽀持的数据库 MySQL 数据库 MariaDB 数据库 Redis 数据库 MongoDB 数据库 Oracle 数据库（X-Pack） PostgreSQL 数据库（X-Pack） SQL Server 数据库（X-Pack） Luna（Web Terminal） Chen CORE MySQL / Redis 本地存储 云存储 负载 接⼊ 核⼼ 数据 存储 KoKo Lion Razor Magnus Magnus 组件⽀持数据库代理直连⽅式连接数据库 安全认证 客户端过滤 SQL 过滤 SQL 录像 SQL 阻断 MySQL MariaDB Redis PostgreSQL ( X-Pack

如何上云？ --提升上云效率，降低迁移风险 业务上云策略 CLB 接入服务 业务 服务框架 Redis/CKV COS Docker/K8S/TKE CKafka CDB/Mysql IEG PCG WXG CDG CISG TEG ⚫公有云专线与自研互通 ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 ⚫使用云原生PaaS ⚫边上云边改造 CFS 业务上云五部曲 •切换过程停写 私有组件迁移上云 • 云上部署服务集群 •自行维护和迭代 •同步中心或主备 •业务切路由切换服务 兼容公有云 • DTS自助热迁移 •增量完成后切换读写 •VIP或DNS寻址 数据库搬迁上云方式 接入层与应用层切换上云 TGW 接入服务 业务 服务框架 Redis CEPH KVM Kafka Mysql Client CLB 接入服务 业务 群/讨论组 SSO接入 鉴权平台 资料关系链 OIDB 漫游系统 消息系统 状态系统 广州云 华南地区 QQ三地混合云 数据库迁移方案 云CDB 应用服务 DNS 自研MySQL DTS数据 迁移工具 VIP:PORT 从 磁盘 主 磁盘 从 磁盘 主 磁盘 同步中心混合云架构 业务写入 业务接入 代理 存储转发 存储转发 存储转发 失败备机

.........................................................................................22 6.2 MySQL 服务日志............................................................................................. docker-compose 的方式维护整体平台的运行与服务之间的 依赖关系。 2.1.1 依赖组件 CloudExplorer 云管平台依赖于如下第三方开源中间件及数据库服务： 名称 描述 MySQL 提供数据库服务，可配置使用外部数据库服务，例：RDS Ansible CloudExplorer 基于 Ansible 实现自动化操作功能 Prometheus CloudExplorer 基于 账单中心（billing-center） 按组织及工作空间的计 工单中心（ticket-center） 工单系统量计费 虚拟机服务（vm-service） 虚机自服务及运营 容器云集群服务（container-service） 容器云集群服务 运营分析（operation-analytics） IT 容量管理、趋势分析、健康分析、优化 大屏（screen-display） 可视化大屏，实时展示云管平台各项关键数据

International Corp. or its subsidiaries in the United States and/or other countries. MySQL ® is a registered trademark of MySQL AB in the United States, the European Union and other countries. Node.js ® is GitOps Operator 创建的 control plane 工作负载，包括此命名空间中的默认 Argo CD 实例。 使用 GitOps control plane 工作负载，您可以通过在集群中创建多个隔离的 Argo CD 实例来安全地并声明 性地隔离基础架构工作负载，并完全控制 Argo CD 实例的功能。另外，您可以在多个开发人员命名空间 中以声明性方式管理这些 Argo CD 实 OpenShift GitOps 安装的 GitOps control plane 工作负载移到基础架构节点。以下是您 可以移动的 control plane 工作负载： kam deployment 集群部署 集群部署（后端服务） openshift-gitops-applicationset-controller 部署 部署 openshift-gitops-dex-server 部署 部署 op

项目的生命周期的环节场景 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 16 表 2: 支持场景列表 场景 子场景 是否支持 运行环境服务 虚拟机申请部署、变更 (单机、批量、集群、定时执行、克隆) 支持 磁盘申请部署、变更，快照创建及管理 支持 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 申请方式支持大批量不同配置虚拟机方便申请部署场景，类似 Excel 复制行修改请 求参数方式。这个在开发团队规模较大，申请虚拟机数量比较多的企业中非常有用，比如银 行。 5）服务目录产品支持单机、批量多机、以及中间件数据库集群部署、由多个虚拟机组 成的运行环境部署等。在管理侧还可以按需提供 CI CD 工具、运维工具等产品供选择部署 使用。可向管理员提申请要求。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 31 7) RDS 实例方面支持:  支持显示 RDS 实例列表，内容包括但不限于：名称、实例状态等。  支持申请 RDS 实例，包括 MySQL 等  支持对 RDS 实例配置变更申请  支持对 RDS 实例操作，启动、停止、重启、释放等 支持阿里云、腾讯云、华为云、AWS、Azure RDS。 8) 对象存储方面支持  支持显示

YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 • 运维统一工作流规范，开发自主使用 • 跨多项目复用模板 扫码查看易快报案例 强大免运维的模板库 • 系统纬度：集群、项目、服务、环境、工作流 • 项目纬度：构建、测试、部署， DevOps 指标 • 迭代纬度：需求到发布效率、质量分析 • 效能度量：耗时分析、通过率统计、趋势分析 客观精准的效能洞察 • 师管理发布流程和基础设施，导 致资源浪费和效率低下 Zadig 平台工程模式 工程规模数据： • 1500+ 产研工程师 Vs. 2 人运维 • 50 + 个 Kubernetes 全球集群 • 300+ 个数字产品（资产沉淀） • 1600+ 条自动化工作流（全域） • 900+ 个服务化运行环境 通过整合业务、产品、研发、运维等角色端到端的协作过程，打造出提升研发效能的一站式研发协作平台。 在 Rancher 上手动替换版本 3. 不透明的测试环境导致大量问题 4. 为每一次部署维护一个 Chart 版本 现状 效能提升场景： 2K+ 微服务、多语言、 Helm 、 K8s 多集群 1. 开发流程 提交代码到 Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂 的脚本 ） -> -> Rancher 上手动替换