通过Golang + eBPF实现无侵入应用可观测 张海彬 阿里云 应用可观测技术专家 目 录 eBPF简介 01 eBPF在云原生场景下的应用 02 微服务可观测的挑战 03 Golang + eBPF实现数据采集 04 构建完整的应用可观测系统 05 eBPF简介 第一部分 eBPF简介 01. eBPF简介 eBPF = extended Berkeley Packet 网络加速 From:https://istio.io/latest/zh/blog/2022/merbridge/ eBPF 的可编程能力使其能够内核中完成包的处理和转发，而且可以添加额外扩展能力。 观测和跟踪 将 eBPF 程序附加到跟踪点以及内核和用户应用探针点的能力，使得应用程序和系统本身的 运行时行为具有前所未有的可见性 From:https://juejin.cn/post/7280746515525156918 DDoS攻击等，实施网络策略、增强系统的安全性、稳定性。 From:https://zhuanlan.zhihu.com/p/507388164 微服务可观测的挑战 第三部分 微服务可观测的挑战 应用：微服务架构、多语言、多协议 挑战1：微服务、多语言、多协议环境下，端到端观测 复杂度上升，埋点成本居高不下 Kubernetes 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多，

全场景 支持。增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本，聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.4 构 建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 23.09 版本集成分布式软总线、KubeEdge+ 边云协 同框架等 社区反弹，最终导致 HMM 方 案搁浅。异构加速器领域亟需高效的统一内存管理机制。 异构通用内存管理框架 GMEM （Generalized Memory Management），提供了异构内存互联的中心化管理机制，且 GMEM API 与 Linux 原生内存管理 API 保持统一，易用性强，性能与可移植性好。 加速器使用 GMEM API 将内存接入统一地址空间后，可自动获得 GMEM 面向异构内存编程优化的能力。与此同时，加

全场景支持。 增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同时发布边缘和 嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本， 聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 openEuler Edge、面 向嵌入式的版本 openEuler Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起，通过联合创新、社区共建，不断增强场景化能力，最终实现统一操作系 统支持多设备，应用一次开发覆盖全场景。 openEuler 覆盖全场景的创新平台 服务器 云计算 边缘 嵌入式 基础公共服务 服务器 开源操作系统的构建过程，也是供应链聚合优化的 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力，

由知名开源项⽬“夜莺”的核⼼开发团队组成： 夜莺是⼀款开源云原⽣监控⼯具，是中国计算机学会接受捐赠并托管的 第⼀个开源项⽬，在GitHub上有超过8500颗星，上百位社区贡献者， 上万家企业⽤户，是国内领先的开源可观测性解决⽅案。 创始团队均来⾃国内⼀线互联⽹公司：创始团队在 等互联⽹公 司，⻓期担任基础设施、云计算、稳定性保障等⽅向的负责⼈。 公司简介：快猫星云是⼀家云原⽣智能运维科技公司 由国内顶级投资机构连续投资。 ⼀的告警收敛、降噪、排班、认领、升级、协同，⼤幅提升告警处理效率。 统⼀观测 将 Metrics、Logs、Traces、Events、Profiling 等多种可观测性数据融会贯通，并预置⾏业最佳实践， 既提供全局业务视⻆、技术视⻆的驾驶舱，也提供层层下钻的故障定位能⼒，有效缩短故障发现和定位 时间。 统一采集 INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED RESERVED © 北京快猫星云科技有限公司 ⽇志统⼀可视化 INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED © 北京快猫星云科技有限公司 统⼀的仪表盘 统一告警 INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED © 北京快猫星云科技有限公司 统⼀告警 INTERNAL OR RESTRICTED, ALL RIGHTS

全新发布后的第一个社区版本，实现了 全场景支持。增强服务器和云计算的特性，发布面向云原生的业务混部CPU调度算法、容器化操作系统KubeOS等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本，聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 22.03 LTS SP2 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS SP2 版本集成分布式软总线、 KubeEdge+ 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 openEuler 22.03 LTS SP2 Edge，支持 KubeEdge+ 边云协同框架，具备边 云应用统一管理和发放等基础能力。 • 嵌入式： 发布面向嵌入式领域的版本 openEuler 22.03 LTS SP2 Embedded，镜像大小 <5M，启动时间 <5s。 繁荣社区生态 • 友好桌面环境：UKUI、DDE

边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保 障，建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 API/E2E/UI 自动化测试管理 • 与开发协同自动化验收 • 自动化测试效益分析 高效协同的测试管理 • 一套 YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 • 运维统一工作流规范，开发自主使用 • 跨多项目复用模板 扫码查看易快报案例 强大免运维的模板库 • 系统纬度：集群、项目、服务、环境、工作流 • 项目纬度：构建、测试、部署， DevOps 指标

边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效/低质量/低效率/高成本： 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保障， 建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 API/E2E/UI 自动化测试管理 • 与开发协同自动化验收 • 自动化测试效益分析 高效协同的测试管理 • 一套YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 • 运维统一工作流规范，开发自主使用 • 跨多项目复用模板 扫码查看易快报案例 强大免运维的模板库 • 系统纬度：集群、项目、服务、环境、工作流 • 项目纬度：构建、测试、部署，DevOps 指标 •

『F7』就回到桌面 啰！ ( 注：某些 Linux distribution 会使用到 F8 这个终端接口做为他的桌面终端机，例如 OpenLinux Server 3.1.1 ，所以这部份还不是很统一！无论如何，尝试按按 F7 or F8 就可以知道啰！ ) • Ctrl + Alt + [F1] ~ [F6] ：文字接口登入 tty1 ~ tty6 终端机； • Ctrl + Alt + 这个指令来将里头的纪录搜寻出来； 3. 这个档案的指令记录笔数，与 HISTFILE 有关，你可以自行在 ~/.bashrc 里头设定，或者直 接由 root 在 /etc/profile 里面统一设定大小！ • ~/.bash_logout：这个档案则是在『你注销 shell 的时候， BASH 会为你所做的事情！』通常预设 是只有 clear 清除屏幕这件事情而已，不过，你也可 嗯！是这样的，由于 quota 『只能针对一个 partition 进行 整体的磁盘配额，无法针对某个目录进行磁盘配额！』针对这个观念，我们不难发现，『(1)将邮件存在个人的家目录与 (2)将邮件统一放在 /home 下的一个共享目录』是一样的！为什么呢？这是因为 quota 针对的是一个磁盘呀！呵呵！所以啰， 您必须先确定『您的 /home 是一个独立的 partition 』才行！当然啰，您也可以使用其它的独立的

杂一些生产实践场景，希望对你有所帮助。 ? 本文作者：秦晓辉，Open-Falcon、Nightingale 等开源项目创始人之一，极客时间《运 维监控系统实战笔记》作者；当前在创业（快猫星云联创），为客户提供监控/可观测性产品 方案，有需求的朋友欢迎联系我的微信 picobyte。 数据类型 Prometheus 有四种数据类型：Gauge、Counter、Histogram、Summary，其中最关键的是 的常规知识，尽量融入了一些生产实践的场景，当然，PromQL 还有 更多函数没有介绍，大家可以阅读其文档学习。 我是来自快猫星云（https://flashcat.cloud/）的秦晓辉，在监控/可观测性道路上，伴你前行 :-)

价值运营指标 业务管理简单⾼效，⽀持 RBAC/ABAC 权限隔离 流程模版统⼀规划，产研协同更⾼效，⾃动化⼀切 质量建设有的放⽮，全流程内建安全，测试驱动开发 多视⻆资源管理，业务协同更透明，成本可观测 ⼯程师数字化协作，幸福度更⾼更专注 全触点研发运营数据，可管理，可度量，可提升 备注：所有数据来⾃于落地⽤⼾的可收集实际使⽤状况 Zadig 使⽤体验 & 客⼾⼝碑 Zadig 是云原⽣ DevOps