APM 深水区： 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状：全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM： 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 哪些错误是真正紧急、影响业务的？ 哪些业务被影响了？是否是核心业务？ 如何补救？ 运维现状： • 系统响应时间、错误率上升 • 不知道影响了哪些业务/BU/部门/用户 • 企业损失、成本消耗无法衡量、补救 现状：运维和业务的割裂（互联网场景） 业务洞察： ⚫ 转化率 / 收入 / 活跃用户 / KPI 迅速下降 ⚫ 业务团队不知具体原因 ⚫ 多团队、部门之间解决方案不明确 ⚫ 公司业务、健康状况时刻受到影响 公司业务、健康状况时刻受到影响 业务现状： • 系统响应慢 • 营销流程中点击“提交”要等很久 • 领导批准审批超时、报错 现状：运维和业务的割裂（企业场景） 运维困境： ⚫ 各系统看似正常 ⚫ OA系统响应及时 ⚫ 网络正常 ⚫ 数据库没有报错 ⚫ 业务和IT系统的对应关系缺失 ⚫ 难以迅速定位问题 ⚫ IT / CIO / 业务部门：KPI、考核、管理层压力 目录 • APM现状和痛点

冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 自我介绍 ⚫ 业务开发出身的运维 ⚫ 先后在腾讯负责游戏、安全、医疗类业务运维 ⚫ 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 ⚫ 目前负责腾讯自研业务的运维与上云工作 01 腾讯业务为什么要上云 02 业务上云的价值 03 如何上云 目录 04 上云案例分享 腾讯业务为什么要上云 接入服务 业务 服务框架 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker IEG PCG WXG CDG “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 将原有七大事业群（BG）重组整合，新成立云与智慧产业事业群（CSIG）、平台与内容 事业群（PCG）。在连接人、连接数字内容、连接服务的基础上，更加彰显了腾讯推动由消费 互联网，向产业互联网的升级的决心。 业务上云价值 • 开发效率更高 • 云上特性（VM热迁移等） • 丰富的标准化云服务 • 云原生TKE、研发CICD流程 • 计算资源重用 • 公共组件产品化 • 丰富的公有云海外资源 •

优势、使用场景、解决问题域 Zadig 解决问题域 Zadig 云原生开放性：极简、 0 负担接入 Zadig 业务架构 Zadig 系统架构 1 Zadig 行业方案 对比分析 职能 传统 DevOps 方案 ZadigX 云原生 DevOps 方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源 / 业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保 障，建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 /

优势、使用场景、解决问题域 Zadig 解决问题域 Zadig 云原生开放性：极简、0 负担接入 Zadig 业务架构 Zadig 系统架构 Zadig 行业方案 对比分析 职能 传统 DevOps 方案 ZadigX 云原生 DevOps方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源/业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保障， 建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地/子环境免打扰，独立完成验证工作

深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 生 D e v O p s 平 台 。 领先企业抢先实践 Zadig Zadig 研发数字化转型方案正成为产业数字化战略的核心环节 Zadig 设计思路：通过「平台工程」解决流程挑战，通过「技术升级」提升组织效能 01 04 02 03 工程化协同：“人、技术、流 程、工具” 四维协同基线，沉 淀全流程数据，从感知到赋 流程平台 围绕 Jenkins 或 CI/CD 工具 搭建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可 灵活安全接入多个代码仓及周边工具链 境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描 更新日常开发环境及 dev 业务配 置 project-dev-workflow • 构建、配置变更（ Apollo/Nacos ）、数 据变更、部署、冒烟测试、项目管理任务 变更 测试工程师 更新测试验证环境 project-sit-workflow

深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 生 D e v O p s 平 台 。 领先企业抢先实践 Zadig Zadig 研发数字化转型方案正成为产业数字化战略的核心环节 Zadig 设计思路：通过「平台工程」解决流程挑战，通过「技术升级」提升组织效能 01 04 02 03 工程化协同：“人、技术、流 程、工具” 四维协同基线， 沉淀全流程数据，从感知到赋 流程平台 围绕 Jenkins 或 CI/CD 工具搭 建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可 灵活安全接入多个代码仓及周边工具链 境 面向角色 功能描述 工作流名称样例 具体配置 开发工程师 CI 过程 project-unit-test project-scan • 单元测试、代码扫描 更新日常开发环境及 dev 业务配置 project-dev-workflow • 构建、配置变更（Apollo/Nacos）、数据 变更、部署、冒烟测试、项目管理任务变 更 测试工程师 更新测试验证环境 project-sit-workflow

算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持。增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同 时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法，保障在线业务对 CPU 的实时抢占 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 •

千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同时发布 边缘和嵌入式版本。 openEuler 作为一个操作系统发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的 嵌入式领域竞争力探索，打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖动 抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad + shimv2 + StratoVirt 安全容器方案，相比传统 docker + qemu 方案，底噪和启动时间 优化

IT 部门采购了大量基础架构及运维安全管理工具，但是却发现在 IT 整体服务响应速度及 管理能力提升上却收效甚微，仍然难以从整体上快速供给提供运行环境资源，快速响应业务 需求，对于业务部门不得不排期等待几小时、几天甚至几周时间获取业务开发测试运行所需 的运行环境资源，对于 IT 部门又耗费大量 IT 人力在重复操作工作上，并且难以精细有效管 理 IT 资源，造成大量的资源浪费和不必要的成本投入。 的依赖程度及要求越来越高，IT 规模以及 IT 组织 规模增大分工越来越细化，以及云时代的来临云基础架构带来的多样化，使得 IT 部门越来 越不堪重负，形成了两个日趋激化的矛盾。  一方面，业务快速发展要求 IT 响应时间越来越短，迭代开发测试速度越来越快， 形成 IT 响应时间越来越短的要求与现有僵化基础设施、低效 IT 供给服务模式的矛 盾。  另一方面，资源池规模越来越大、种类越来越多，运维工具独立多样化，IT 解决方案，希望能够 帮助广大企业能够从根本上解决传统 IT 以及 IT 基础架构、工具体系演进过程中面临的问题， 早日完成实现 IT 服务管理模式的转型，从而助力加速企业数字化转型，业务的快速发展， 减少业务快速发展在 IT 侧形成的阻力，同时解放释放 IT 人力。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 6 一、概述 1.1 目的 阐述产品的应用场景、用

为世界提供数字基础设施的开源操作系统 234万 社区用户 610万 装机量 谁在使用 openEuler 谁在贡献 openEuler 105 SIG组 1,500 成员单位 18,127 社区贡献者 战略捐赠人 白金捐赠人 黄金捐赠人 白银捐赠人 青铜捐赠人 学术机构和非营利组织 openEuler 治理架构 openEuler 委员会 常务委员会 顾问专家委员会 项目群办公室 RISC-V SW-64 LoongArch Power DPU GPU NPU 容器运行时 iSulad Docker Containerd Kusar StratoVirt Kata … 云原生业务调度 Rubik 在离线混布 Kmesh 高性能服务网格 Volcano Rancher RKE2/K3s KubeVirt … KubeSphere … Applications