........................ 21 六、日志排查.......................................................................................................................21 6.1 云管平台日志................................ ........................22 6.2 MySQL 服务日志................................................................................................... 22 6.3 Nginx 服务日志........................................ ............................................29 杭州飞致云信息科技有限公司 4 一、概述 本手册包含了云管理平台的软件架构、部署升级、服务操作、日志、监控、备份等详细 说明。CloudExplorer 云管平台采用微服务架构设计，通过本手册能快速了解 CloudExplorer 云管理平台的基础组件构成这样更方便以后在系统运维中更方便的去排查

技术支持不足，文档陈旧 ⚫ 数据技术不互通，部门间代码相互封闭，跟业界缺乏交流 ⚫ 缺乏维护，越来越多的历史遗留组件 ⚫ 没有技术图谱 2018年930变革 开源协同 自研上云 代码开源 相互协同 基于公有云模式研发 组件框架上云，成为云服务 将原有七大事业群（BG）重组整合，新成立云与智慧产业事业群（CSIG）、平台与内容 事业群（PCG）。在连接人、连接数字内容、连接服务的基础上，更加彰显了腾讯推动由消费 dispatch 业务读SET dispatch 上海云 深圳自研 广州云 云原生 开发方法 敏捷开发、DevOps 团队 协作式DevOps团队 交付周期 短且持续 应用架构 微服务，基于API的通信 基础架构 以容器为中心 部署可预测性 可预测 弹性能力 弹性调度 恢复能力 自动化运维，快速恢复 蓝盾/TencentHub…… 每天可交付数十次 运维开发&应用开发 TSF Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 业务管理 用户体系 权限 审计 安全 资源调度 服务监控 服务告警 远程日志 自动扩缩容 负载均衡 服务发现 CI/CD 蓝盾 OCI QCI 镜像仓库 CSIGHUB DockerImage

Kubernetes 基础架构的 GitOps 工作流。使用 Red Hat OpenShift GitOps，管理员可以在 集群和开发生命周期中一致地配置和部署基于 Kubernetes 的基础架构和应用程序。Red Hat OpenShift GitOps 基于开源项目 Argo CD，为上游提供的功能提供类似的功能，并提供额外的自动化功能，集成到 Red Hat OpenShift Container Platform 服务 务器 器 公开 Web UI、CLI、持续集成(CI)和持续部署(CD)系统使用的 API 的 gRPC/REST 服务器。 Argo CD 开源声明工具，可在集群和开发生命周期中自动部署基于 Kubernetes 的基础架构和应用程序。 Argo CD 应 应用程序 用程序 一个应用程序，用于跟踪 GitOps 存储库中的单个 Kubernetes 资源（将资源定义为清单）到目标 Kubernetes must-gather CLI 命令可收集最有助于解决 命令可收集最有助于解决问题 问题的集群信息，包括： 的集群信息，包括： 资 资源定 源定义 义 服 服务 务日志 日志 默 默认 认情况下， 情况下，oc adm must-gather 命令使用默 命令使用默认 认的插件 的插件镜 镜像，并写入 像，并写入 ./must-gather.local。

管控 培养数百蓝鲸运 维开发 工具驱动运维：采用运维 开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 公共 组件 环境 构建 资源 准备 代码 部署 应用 开发 监控 告警 日志 追溯 基于PaaS的开发模式 应用需求 公共 组件 环境 构建 资源 准备 代码 部署 应用 开发 监控 告警 日志 追溯 运维开发 负责企业技术运营领域（CI、CD、CO）相关场景的系统构建，例如持续集成、日志分析、资 源管理、版本发布、环境变更、监控处理、灾备切换、日常巡检、电子工单、运营分析、运营 ElasticSearch Beanstalkd 监控对象 硬件服务器 虚拟化 网络 OS 数据库 中间件 容器 应用 服务 服务能力 处理服务 告警服务 检测服务 日志服务 告警通知 告警收敛聚合 故障自动处理 告警人工工单 静态阈值 动态阈值 日志分析 日志检索 指标服务 指标组合 指标管理 IT监控功能示例 Apache监控 Nginx监控 MySQL监控 故障自愈功能示例 3、自动化运维的演进路径

CODING 容器云厂商 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云厂商友好，实施迁移成本极低，可扩展性 强，全球多地跨云跨域安全可靠自动化部署 企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、Tekton、Argo 等搭建流程串接胶水平台 建设成本高 500-2000万之间 使用和学习门槛高；随业务发展扩展性差 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强， 可灵活广泛接入现有工具链和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可灵活 安全接入多个代码仓及周边工具链 Zadig 与现存 开发工程师自助式进行版本发布 • 平台团队可支撑 5 倍以上研发规模扩充 极氪汽车平台工程落地成果 随着中国车企全球增长，海外业务拓展带来全球研发、交付、推广和运营挑战，在这出海挑战中，早期路特斯的软件交付流程 是基于 Jenkins 流水线设计的，Jenkins 的部署与数据中心一一对应。由于路特斯使用的是混合云，且数据中心遍布海外，导 致 Jenkins 数量庞大，随着业务扩张，早期架构难以适应快速变化，大量

1.3 名词术语 名词 解释 基础架构平台 指为业务系统开发测试、运行提供运行环境资源的各类虚拟化平 台、超融合平台、私有云平台以及公有云平台。 虚拟化平台 指以 VMware 为代表的基于虚拟化技术整合物理机以虚拟机方 式提供资源的平台，除 VMware 外，常见的虚拟化平台有 IBM 的 Power 虚拟化平台、华为的 FusionCompute、FusionSphere 虚拟化平台。 平台 虚拟化平台市场中占有率最大的平台，多数大中型企业 IT 都采用 了 VMware 虚拟化平台。 OpenStack 是主流的私有云平台，目前私有云平台市场中占多数，业内存在 很多厂商基于开源 OpenStack 平台封装商业化版本为企业客户 提供产品及服务。包括华为、华三、EasyStack、UnitedStack、 海云捷讯等。 青云 一个国产商业化私有云平台，公有云平台。 支持将虚拟机归属到项目、应用系统以及打标签，并按项目、按应用系统、按云平 台云账号地域分级分组查看，方便查找和操作管理  修改主机名称  变更所属人/项目/应用系统  延长租期  执行脚本并查看脚本执行记录日志结果  查看虚拟机 CPU、内存性能 对于公有云的虚拟机，除以上支持外，还支持以下功能。  申请时指定安全组，负载均衡、弹性 IP  创建管理密钥  修改虚拟机的安全组  加入/离开负载均衡监听器后端服务器组

CODING 容器云厂商 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云厂商友好，实施迁移成本极低，可扩展性 强，全球多地跨云跨域安全可靠自动化部署 企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、 Tekton 、 Argo 等 搭建流程串接胶水平台 建设成本高 500-2000 万之间 使用和学习门槛高；随业务发展扩展性差 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 基于代码管理的 DevOps 方 案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可灵活 安全接入多个代码仓及周边工具链 • 平台团队可支撑 5 倍以上研发规模扩充 极氪汽车平台工程落地成果 随着中国车企全球增长，海外业务拓展带来全球研发、交付、推广和运营挑战，在这出海挑战中，早期路特斯的软件交付流程 是基于 Jenkins 流水线设计的， Jenkins 的部署与数据中心一一对应。由于路特斯使用的是混合云，且数据中心遍布海外，导 致 Jenkins 数量庞大，随着业务扩张，早期架构难以适应快速变

整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 调度 • 优化 智能运维学件库 Metis 的研究方向 展望未来 异常检测 单指标异常检测，多指标异常检测 根因分析 智能多维下钻分析，链路调用根源分析 告警收敛 事件与事件，事件与时序，时序与时序 日志分析 日志模板提取，日志异常检测，日志聚类分析 腾讯 Metis 智能运维方向 发现问题 分析问题 解决问题 THANKS 关注云加社区公众号

需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD 工具 搭建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab KubeSphere 1 、 敏捷协作方案介绍 持续集成 (CI) -> 持续交付 (CD) -> 持续部署 (CD) -> 持续运营 (CO) 质量右移 质量左移 软件研发核心工程实践：基于质量工程的持续交付体系（ CI/CD 、 CO 、 CT 、 CS ） 工 程 实 践 ： • 持 续 集 成 ( C I 针 对 代 码 ) • 持 续 交 付 ( C D 针 对 需 求 • 更新数据 • 日常调试 开发工程师 • 日常测试验证 • 自动化测试 测试工程师 • 升级预发环境 • 升级生产环境 • 变更数据库 发布工程师 核心场景介绍：不同角色工程师基于统一协作平面，操作使用自动化工作流和云原生环境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描

需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD 工具搭 建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab Jenkins KubeSphere 1、 敏捷协作方案介绍 持续集成(CI) -> 持续交付(CD) -> 持续部署(CD) ->持续运营(CO) 质量右移 质量左移 软件研发核心工程实践：基于质量工程的持续交付体系（CI/CD、CO、CT、CS） 工 程 实 践 ： • 持 续 集 成 ( C I 针 对 代 码 ) • 持 续 交 付 ( C D 针 对 需 求 ) • 持 • 更新数据 • 日常调试 开发工程师 • 日常测试验证 • 自动化测试 测试工程师 • 升级预发环境 • 升级生产环境 • 变更数据库 发布工程师 核心场景介绍：不同角色工程师基于统一协作平面，操作使用自动化工作流和云原生环境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描