APM 深水区： 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状：全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM： 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 OA系统响应及时 ⚫ 网络正常 ⚫ 数据库没有报错 ⚫ 业务和IT系统的对应关系缺失 ⚫ 难以迅速定位问题 ⚫ IT / CIO / 业务部门：KPI、考核、管理层压力 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 IT设施规模快速扩张，IT应用数量不断增多，IT运行压力越来 越大，系统性能波动，故障影响范围难以判断，故障原因难以 定位，企业损失无法衡量，仅求确保IT系统“活着”，能持续 捷开发过程的不断应用，复杂多元的IT运行环境也对传统运维 提出了巨大挑战。 用户感知 快速交付 数据分析 可视化 最大价值化 面向业务和服 务的主动运营 体验 效率 效益 APM深水区：构建连接运维与业务之桥 量化业务表现 用户体验提升 风险防范、故障定位 持续迭代持续优（DevOps） 技术运营 成本 业务运营 效率价值 数据 业务-IT溯源 业务告警

基于APM的智能运维体系在京东物流的落地和实践 付正全 京东物流 架构师 自我介绍 付正全，京东物流架构师，国家认证信息系统项目管 理师，曾任浪潮集团系统架构师，专注监控平台研发 工作 8 年，研究过市场上数十家厂商的监控平台产品， 对 DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫ 智能运维(AIOps)落地规划 业界智能运维发展趋势 新的问题 运维人数不变，管理机器数翻倍 1 2  3 4 正在消失的运维 运维从业者减少，运维专家匮乏 运维平台日趋复杂，缺乏统一规划 公司内部监控/运维系统繁多，形成数据孤岛 网络拓扑日益复杂，资源云化，虚拟资 请求 系统问题定位难 快速发展的APM APM (应用性能管理)市场规模逐年递增 0 10 20 30 40 50 60 70 2014 2015 2016 2017 2018 APM市场规模(亿美元) ◼目前，全球APM市场规模大约在60亿美元左右，预 计在五年内达到90亿美元 ◼APM成为ITOM成长最快的领域 ◼APM能够对企业的关键业务应用进行监测、诊断分

⼿手段 时间序列列数据 ⽇日志处理理流 ⾃自研 ⽤用户端监控 apm ⾃自研 客户端 播放器器 如何推进？ 服务端监控 场景 分析监控场景对应监控⼿手段 类型 metric类型 ⽇日志类型 ⾃自定义类型 ⼿手段 时间序列列数据 ⽇日志处理理流 ⾃自研 ⽤用户端监控 apm ⾃自研 客户端 播放器器 metric⽅方案选型 • 能覆盖⼤大部分监控场景

机制，轻量易用，无业务侵入性 • 内置集成了多种数据库中间件的采集以及网络设 备的采集，复用telegraf和datadog-agent的能力 • 支持statsd的udp协议，用于业务应用的apm监控 分析 夜莺数据采集 01.监控数据采集，all in one的agentd 夜莺数据采集 02. Autoconfig Forwarder 夜莺数据采集 02. Autoconfig

网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server, coredns… 系统调用异常：网络请 求，内存申请，文件操

Zabbix Ansible CA Falcon CA Etc Puppet Other Orchestration & Governance Kong Api Gateway ELK APM Automate Storage Opsnow-S3 S3 Security Analytics Cots optimization Resources optimization Big

hardware configuration tools Here, ACPI is a newer framework for the power management system than APM. Tip CPU frequency scaling on modern system is governed by kernel modules such as acpi_cpufreq. 9

硬件配置 像 GNOME 和 KDE 这类现代图形桌面系统，虽然大部分硬件的配置都能够通过相应的图形配置工具来管理，但知道 一些配置它们的基础方式，也是一个好的主意。 这里, ACPI 是一个比 APM 新的电源管理系统框架。 提示 现代系统的 CPU 频率调整功能，是由内核模块 acpi_cpufreq 管理的。 9.5.5 系统时间和硬件时间 下面设置系统的硬件时间为：MM/DD hh:mm

Hardware-Konfiguration ACPI ist ein neueres Rahmenwerk für das Power Management und der Nachfolger für das ältere APM. Tipp Die Skalierung der CPU-Frequenz wird auf modernen Systemen durch Kernel-Module wie acpi_cpufreq

configuração do hardware Aqui, o ACPI é uma estrutura mais recente para o sistema de gestão de energia que o APM. Dica O escalar de frequências da CPU em sistemas modernos é governado por módulos do kernel como