........................ 21 六、日志排查.......................................................................................................................21 6.1 云管平台日志................................ ........................22 6.2 MySQL 服务日志................................................................................................... 22 6.3 Nginx 服务日志........................................ ............................................29 杭州飞致云信息科技有限公司 4 一、概述 本手册包含了云管理平台的软件架构、部署升级、服务操作、日志、监控、备份等详细 说明。CloudExplorer 云管平台采用微服务架构设计，通过本手册能快速了解 CloudExplorer 云管理平台的基础组件构成这样更方便以后在系统运维中更方便的去排查

must-gather CLI 命令可收集最有助于解决 命令可收集最有助于解决问题 问题的集群信息，包括： 的集群信息，包括： 资 资源定 源定义 义 服 服务 务日志 日志 默 默认 认情况下， 情况下，oc adm must-gather 命令使用默 命令使用默认 认的插件 的插件镜 镜像，并写入 像，并写入 ./must-gather.local。 使用 --image 参数和 参数和镜 镜像，如以下部分所述。 像，如以下部分所述。 示例命令 示例命令 要收集 要收集审计 审计日志， 日志，请 请使用 使用 -- /usr/bin/gather_audit_logs 参数，如以下部分所述。 参数，如以下部分所述。 $ oc adm must-gather --image=registry GitOps 10 示例命令 示例命令 注意 注意 作 作为 为默 默认 认信息集合的一部分，不会收集 信息集合的一部分，不会收集审计 审计日志来 日志来减 减小文件的大小。 小文件的大小。 当您 当您运 运行 行 oc adm must-gather 时 时，集群的新 ，集群的新项 项目中会 目中会创 创建一个 建一个带

k8s) & 微服务的架构和研发 2019 腾讯云 Serverless 产品架构师 核心诉求 Application Application Architecture 开发工具 DevOps 日志 监控告警 Lifecycle Management 网络 计算 存储 数据库 System Resource Monolithic Sprint Cloud Coding VScode 工具 ❑ VS Code IDE 插件 ❑ WebIDE ❑ Command Line 功能 ❑ 函数增删改查 ❑ 调试 ❑ 打包部署 ❑ 日志 ❑ … DevOps 解决方案 Coding DevOps Serverless 平台 日志 CLS 日志服务 监控告警 Cmonitor 云监控告警 Serverless 系统运维能力 ❑mvm: 租户级别最强隔离，更低的延时 ❑ docker: ❑调用次数 ❑运行时间 ❑运行内存 ❑并发执行次数 ❑受限次数 ❑… 故障排查 Serverless vs. IaaS 运维能力 ❑ 全链路追踪 ❑ 各个维度的监控 ❑ CLS日志服务 一般通过日志排查。 高级功能依赖于插件安装，门槛很高。 弹性扩缩 Serverless vs. IaaS 运维能力 ❑ 小时 级 ❑ 分钟 级 ❑ 毫秒 级 虚拟机 容器 Serverless

支持将虚拟机归属到项目、应用系统以及打标签，并按项目、按应用系统、按云平 台云账号地域分级分组查看，方便查找和操作管理  修改主机名称  变更所属人/项目/应用系统  延长租期  执行脚本并查看脚本执行记录日志结果  查看虚拟机 CPU、内存性能 对于公有云的虚拟机，除以上支持外，还支持以下功能。  申请时指定安全组，负载均衡、弹性 IP  创建管理密钥  修改虚拟机的安全组  加入/离开负载均衡监听器后端服务器组 订单】打开 【订单列表】页面，在此页面可以看工作空间下所有订单及订单状态，如图 3-9 所示。 图 3-9 订单列表  点击订单的状态按钮可查看订单的执行日志。在订单的【操作】下拉菜单中选择【查看 资源日志】可以查看订单执行日志记录。 杭州飞致云信息科技有限公司 31  点击要查看订单的【订单编号】打开【订单详情】页面，可以查看订单详细信息及审批 进度，如图 3-10 所示。 选择【执行日 志】，打开【脚本执行记录】页面，如图 3-16 所示。 (7) 在【脚本执行记录】页面，点击执行记录的【状态】打开【日志详情】页面，在页 面中查看各脚本执行日志，如图 3-16-1 所示。 图 3-16 脚本执行记录 图 3-16-1 日志详情 杭州飞致云信息科技有限公司 47 (8) 在【脚本执行记录】页面，选择一条记录，在操作下拉菜单中【查看脚本】，如图 3-16-2

Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 业务管理 用户体系 权限 审计 安全 资源调度 服务监控 服务告警 远程日志 自动扩缩容 负载均衡 服务发现 CI/CD 蓝盾 OCI QCI 镜像仓库 CSIGHUB DockerImage 分批发布 •接口证书认证 •基于RBAC授权 权限控制 •基于项目管理 •角色鉴权认证 镜像仓库 •CBS(SSD/SATA) •Cehp/NFS 网络存储 •远端日志挂载 •页面日志查询 远程日志 CI/CD/CO 需求 设计 开发 构建 测试 部署 搭建 监控 计划 运营 业务上云总结 ⚫ 拥抱云原生 ⚫ 借上云革新研发模式，全面DevOps（CI/CD/CO）

公共 组件 环境 构建 资源 准备 代码 部署 应用 开发 监控 告警 日志 追溯 基于PaaS的开发模式 应用需求 公共 组件 环境 构建 资源 准备 代码 部署 应用 开发 监控 告警 日志 追溯 运维开发 负责企业技术运营领域（CI、CD、CO）相关场景的系统构建，例如持续集成、日志分析、资 源管理、版本发布、环境变更、监控处理、灾备切换、日常巡检、电子工单、运营分析、运营 ElasticSearch Beanstalkd 监控对象 硬件服务器 虚拟化 网络 OS 数据库 中间件 容器 应用 服务 服务能力 处理服务 告警服务 检测服务 日志服务 告警通知 告警收敛聚合 故障自动处理 告警人工工单 静态阈值 动态阈值 日志分析 日志检索 指标服务 指标组合 指标管理 IT监控功能示例 Apache监控 Nginx监控 MySQL监控 故障自愈功能示例 3、自动化运维的演进路径

单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • Metis 的研究方向 展望未来 异常检测 单指标异常检测，多指标异常检测 根因分析 智能多维下钻分析，链路调用根源分析 告警收敛 事件与事件，事件与时序，时序与时序 日志分析 日志模板提取，日志异常检测，日志聚类分析 腾讯 Metis 智能运维方向 发现问题 分析问题 解决问题 THANKS 关注云加社区公众号

Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂的 脚本 ）-> -> Rancher 上手动替换 Helm Chart 版本 -> 调试（使用 kubectl/ 日志系统） 2. 测试流程 合并到 develop -> GitLab-CI 自动构建打包 Chart （还是那堆复杂的脚本）- > -> Rancher 上手动替换 Helm Chart 版本 调试更新配置需要打一个 Chart 包 3. 使用 kubectl 登入服务 1. Zadig 工作流自动更新服务 2. Zadig 集成环境更新服务配置 3. 在Zadig的图形界面上查看实时日志、调试 测试 1. 测试因为环境不稳定经常受影响 1. 测试套件的自助式运行，管理和执行分析测试结果 2. 关联到开发工作流中，为开发提供自动化验证保障 效能提升场景：2K+微服务、多语言、Helm、K8s 环境随时取用：在 Zadig 上一键创建 dev 和 staging 环境，在不同 的集群上随时几分钟复制环境，随时满足自测需求 • 日常开发过程更便利：直接在 Zadig 上查看服务的状态、服务日志、 登录到容器中排查诊断问题，减少多平台切换 • 高并发工作流触发：在 Zadig 上触发多服务的构建，研发更新服务 更方便，不需要额外维护工作流的负担。 Zadig 企业案例 实践剖析 扫 码

GitLab-CI 自动构建打包 Chart （写一堆复杂 的脚本 ） -> -> Rancher 上手动替换 Helm Chart 版本 -> 调试 （使用 kubectl/ 日志系统） 2. 测试流程 合并到 develop -> GitLab-CI 自动构建打包 Chart （还是那堆复杂的脚 本） -> -> Rancher 上手动替换 Helm 需要打一个 Chart 包 3. 使用 kubectl 登入服务 1. Zadig 工作流自动更新服务 2. Zadig 集成环境更新服务配置 3. 在 Zadig 的图形界面上查看实时日志、调试 测试 1. 测试因为环境不稳定经常受影响 1. 测试套件的自助式运行，管理和执行分析测试结果 2. 关联到开发工作流中，为开发提供自动化验证保障 效能提升场景： 2K+ 微服务、多语言、

Sprint 发布 测试验证 变更发布 产品规划 需求开发 服务的调试——查看环境和服务状态 Sprint 发布 测试验证 变更发布 产品规划 需求开发 服务的调试——查看服务实时日志 Sprint 发布 测试验证 变更发布 产品规划 需求开发 服务的调试——进入容器调试 Sprint 发布 测试验证 变更发布 产品规划 需求开发 服务的调试——临时替换镜像