APM 深水区： 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状：全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM： 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 捷开发过程的不断应用，复杂多元的IT运行环境也对传统运维 提出了巨大挑战。 用户感知 快速交付 数据分析 可视化 最大价值化 面向业务和服 务的主动运营 体验 效率 效益 APM深水区：构建连接运维与业务之桥 量化业务表现 用户体验提升 风险防范、故障定位 持续迭代持续优（DevOps） 技术运营 成本 业务运营 效率价值 数据 业务-IT溯源 业务告警 业务流程监控 触发卡余额不足的交易有多少笔？交易失败，扣款返还的交易有多少笔？超限金额的交易有多少笔？ 业务错误监控，业务错误码占比分析（金融场景） APM BPI Analytics AIOps APM深水区：构建连接运维与业务之桥

向外部系统流式传输监控项值时，现在可以基于信息的类型（数字 (无符号)、数字 (浮点)、字符等）配置连接器应流式传输 哪些监控项值。 此外，为了避免流式传输监控项值或事件的不成功（例如，HTTP 端点繁忙或速率限制等原因），现在还可以配置尝试间隔 - 即连接器在尝 试流式传输数据失败后应等待多长时间。 现在，连接器也将 201、202、203 和 204 HTTP 响应代码视为成功（以前仅 200）。 将数据流式传输到 Apache Kafka 现在提供了一个新的流式传输数据到外部系统的工具 - Zabbix server 的 Kafka 连接器。Kafka 连接器是一个用 Go 编写的轻量级服务器， 旨在将监控项值和事件从 Zabbix server 转发到 Kafka broker。 异步 pollers 新的 poller 进程能够同时执行多个检查，它分出了以下 poller 类型：- Poller 定义的。 要注意升级后，所有的 agent、HTTP agent and SNMP walk[OID] poller 检查将都会切换为异步 pollers。 作为开发的一部分，持久连接 cURL 特性已经添加到了 HTTP agent 检查中。 Proxy 负载均衡和高可用 zabbix 中通过引入 proxy groups 来实现 proxy 的负载均衡。Proxy groups

桌面环境，丰富社区桌面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 系统框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 平台框架 国际开源社区 处理器 行业 ISV 厂商 更广泛的 社区合作伙伴 操作系统厂商 共同参与 多样算力厂商 政府 运营商 安平 流量路径多跳变一跳 特性增强 20 openEuler 23.09 技术白皮书 注： 1. 使能 sockmap 网格加速能力后创建的数据连接才会被加速，已经建立的连接不会被加速。 2. 当前仅支持同节点上 ipv4 tcp 连接的通信加速，对于跨节点的 ipv4 tcp 连接通信，会存在 10%~20% 的时延性能损耗。 服务网格场景：优化云原生服务网格内服务通信性能。例如电商、计费、金融、物流、短视频、在线会议、云游戏等 linker loader memory mapper transportor scheduler executor 特性增强 31 openEuler 23.09 技术白皮书 OVS 的连接跟踪 CT 流表最大可以达到 10M 级别，每一条流表的字段多达 20 几个。运维人员在网络故障时经常需要 dump OVS 的流表查看问题在哪，但是流表太多根本不方便查看，另外 dump 大量的流表也耗时甚多，这就需要对流表进

coredns… 系统调用异常：网络请 求，内存申请，文件操 作，CGroup… 内核异常：进程调度， 内存管理，文件管理， 夯机宕机，资源异 常… 应用组件异常：线程池满，数据库连接无法获取， OOM，文件读取错误… 无法自顶向下端到端 串联导致棘手问题频 发。 Kubernetes下的可观测 Golang + eBPF实现数据采 集 第四部分 eBPF在可观测领域的优势 实例 实例 实例 … 关联分析，通过关联关系的切换，可以快速查看上游请求和下游依赖，以及自身服务实例的 运行情况，进一步提升问题定位能力，通常在已经定位到某个异常节点后使用。 实例 全栈数据源，70+个告警模板开箱即用： 应用级别：Pod/Service/Deployment K8S控制面：apiserver/ETCD/Scheduler 基础设施：节点、网络、存储 云服务界别：Kafka/MySQL/Redis/ Trace分析 黄金指标 网络指标 服务依赖 事后复盘 拓扑图高可用、依赖分 析 面向失败、高可用设计 优化告警 主动发现 智能降噪、去重 系统性解决 系统性解决 关闭 智能告警 全栈数据源，70+个告警模板开箱即用： 应用级别：Pod/Service/Deployment K8S控制面：apiserver/ETCD/Scheduler 基础设施：节点、网络、存储 云服务界别：Kafka/MySQL/Redis/

表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck 多的空间。 7. 如果没有错误，您可以创建一个新的更改过字符集的数据库备份副本，以备不测。8. 启动 Zabbix 服务。 3 数据库的安全连接配置 总览 可以通过以下内容，配置 Mysql 和 PostgreSql 数据库，安全 TLS 加密连接: • Zabbix 前端 • Zabbix server 或 Zabbix proxy 另请参看: 已知问题 (issues) Zabbix Zabbix 5.0.0-5.0.4 版本参数配置名为：TLS encryption 加密, TLS certificate file 证书文件等。 可以在 Zabbix 初始化安装期间，配置数据库的安全连接参数: • 勾选 Database TLS encryption 数据库 TLS 加密复选框Configure DB connection 启用安全传输加密。 • 勾选 TLS encryption

的一部分的剩余值的剩余序列 12 异常检测与余数序列一起工作，并检查是否存在与大多数余数相差太远的值。” 远” 表示余数序列的绝对值比标准差或平均差大 N 倍。 字符串函数 字符串函数 concat 允许连接两个以上的参数。它可用于以不同的组合组合字符串和值，或将两个或多个值相互附加。还支持数字数据类 型。 监控项 自动类型选择 监控项配置表单会自动建议匹配的信息类型，如果选定的监控项键值仅返回特定类型的数据（例如，log[] 库之一进行编译，两者不能同时使用。 单独处理 ODBC 检查 处理 ODBC 检查已从常规轮询器进程转移到单独的 server/proxy 进程 ODBC pollers。此更改允许限制轮询进程 创建的与数据库的连接数。以前，ODBC 检查是由常规轮询器执行的，它也适用于 Zabbix agent 监控项、SSH 检查等。 Zabbix server 和proxy 配置文件中添加了一个新的配置参数 StartODBCPollers {#UNIT.UNITFILESTATE} 宏调 整（或删除）禁止 LLD 过滤器。 有关更多详细信息，请参阅发现 systemd 服务。 加密连接中的 SNI 支持 Zabbix agent 和 Zabbix server 或 proxy 之间的加密 TCP 连接现在支持 SNI。 LDAP 简单检查中的 SourceIP 支持 SourceIP 支持已添加到 LDAP 简单检查。注意对于 OpenLDAP，需要

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 6.3.3 免密码远程连接 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 . . . . . . . . . . . 125 7.8 X 服务端连接 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 7.8.1 X 服务端本地连接 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 7.8.2 X 服务端远程连接 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 7.8.3 X 服务端 chroot 连接 . . . . . . . . . . . . . . . . . . . .

表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck used by internal Zabbix services. This parameter is supported since Zabbix 3.4.0. SourceIP 否 外连接的源 IP 地址。 SourceIP no Source IP address for outgoing connections. SSHKeyLocation no SSH 检查和操作的公钥 和私钥的位置。 and request configuration data; authentication does not take place. ProxyOfflineBuffer 否 -720 果无法连接 Zabbix server，proxy 将保留 数据 N 小时。\\旧数据 将丢失。 ProxyOfflineBuffer no 1-720 1 Proxy will keep data for

表和主题帮助。 9. Q: 调试等级为 4 时，在 zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck used by internal Zabbix services. This parameter is supported since Zabbix 3.4.0. SourceIP 否 外连接的源 IP 地址。 SourceIP no Source IP address for outgoing connections. SSHKeyLocation no SSH 检查和操作的公钥 和私钥的位置。 and request configuration data; authentication does not take place. ProxyOfflineBuffer 否 -720 果无法连接 Zabbix server，proxy 将保留 数据 N 小时。\\旧数据 将丢失。 ProxyOfflineBuffer no 1-720 1 Proxy will keep data for

参照数据库中的 graph_theme 表和主题帮助。 9. Q: 调试等级 4 时，在服务器/代理日志中出现”Trapper got [] len 0” 信息，- 这是什么? A: 很有可能是前端，连接检查服务器是否仍在运行。 10. Q: 我的系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules 配置文件中的值一样。 这个参数在 Zabbix 2.0.0 之后 得到了支持。 SocketDir no /tmp 用于存储内部 Zabbix 服务使用 的 IPC 套接字的目录 SourceIP no 对外连接的源 IP 地址。 SSHKeyLocation no SSH 检查和操作的公钥和私钥 的位置。 SSLCertLocation no 用于客户端身份验证的 SSL 客 户端证书文件的位置。 该参数只用于 2.0.0 之后 得到了支持。 StartTrappers no 0-1000 5 trappers 进程实例数量。 Trappers 接受来自 Zabbix 发 送者、主动 agents 的传入连接。 在版本 1.8.5 之前，上限是 255。 StartVMwareCollectors no 0-250 0 vmware 采集器的子进程实例 个数。 Zabbix 2.2.0 后支持该参数。