网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server, coredns… 系统调用异常：网络请 求，内存申请，文件操 作，CGroup… K8S控制面：apiserver/ETCD/Scheduler 基础设施：节点、网络、存储 云服务界别：Kafka/MySQL/Redis/ 告警 拓扑图排查 根因定位 修复 告警收敛，幸福感UP 指标 日志 Trace分析 黄金指标 网络指标 服务依赖 事后复盘 拓扑图高可用、依赖分 析 面向失败、高可用设计 优化告警 主动发现 智能降噪、去重 系统性解决 系统性解决 关闭 智能告警 全栈数据源，70+个告警模板开箱即用： 告警收敛，幸福感UP 指标 日志 Trace分析 黄金指标 网络指标 服务依赖 事后复盘 拓扑图高可用、依赖分 析 面向失败、高可用设计 优化告警 主动发现 智能降噪、去重 系统性解决 系统性解决 关闭 智能告警 eBPF + Golang 在阿里云应用可观测的实践 更标准 更稳定 无侵入 异常监控 持续剖析 what’s new： 应用监控eBPF版 • eBPF

有进程都使能 KSM 全地址范围内存去重。 • Damon（Data Access MONitoring）特性增强：Damon 可在轻度内存压力下，实现主动、轻量级的线上内存访问监 控及回收，用户根据监控结果定制策略对内存区域做相应操作。 • uswap 特性增强：增加用户态换出内存页面的机制，支持用户态灵活换出内存到后端存储，节省内存。 • Intel EMR（Emerald Rapids）新平台支持：EMR 限流时允许短时间突破 limit 限制，保障在线业务运行的服务质量。 • PSI 指标观测增强：支持 cgroup v1 级别的压力信息统计，识别和量化资源竞争导致的业务中断风险，支撑用户实现 硬件资源利用率提升。 功能描述 rubik 性能调优 弹性限流 拓扑编排 资源预测 隔离抢占 资源调优 QoS配置 指标监控 资源使用 eBPF PMU RDT 干扰检测 性能干扰建模 QoS违规检测 补丁生效流程 3. 针对 ELF 文件（程序可执行文件）的用户态热补丁 使用 uprobe 技术，将热补丁与 ELF 文件绑定。在 ELF 文件运行时，通过 uprobe 触发补丁生效，这样无需监控进程。 因此，无论用户进程是否已经运行都可以在打补丁后或新进程运行时使补丁生效。同时，该技术也可以给动态库打热补丁， 解决了动态库热补丁的难题。补丁生效流程如下图所示。 23 openEuler

的架构。如下面 sysMaster 系 统架构图所示，主要包含三个方面。 1. sysmaster-init：新的 1 号进程，功能极简，代码千行，极致可靠，提供系统初始化 / 僵尸进程回收 / 监控保活等功能， 可单独应用于嵌入式场景。 2. sysmaster-core：承担原有服务管理的核心功能，引入可靠性框架，使其具备崩溃快速自愈、热升级等能力，保障业务 全天在线。 3. sys 容器引擎/容器应用 桌面环境OS: KDE/GNOME udevd sd-bus ... sysmaster-exts devMaster busMaster ... N 1 1 进程回收 监控保活 系统初始化 事件驱动器 Unit管理器 unitPlugin 特性增强 22 openEuler 23.09 技术白皮书 sysMaster 组件架构简单，提升了系统整体架构的扩展 文件运行时，通过 uprobe 触发补丁生效，这样无需监控进程。 因此，无论进程是否已经运行都可以在打补丁后或新进程运行时使补丁生效。同时，该技术也可以给动态库打热补丁，解 决了动态库热补丁的难题。补丁生效流程如下图所示。 特性增强 25 openEuler 23.09 技术白皮书 新增特性 支持容器内构建补丁 • 通过使用 ebpf 技术监控编译器进程，实现无需创建字符设备、纯用户态化获取热补丁变化信息，并允许用户在多个

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 3.6 其它系统监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 记录配置文件的变更 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 9.4 监控、控制和启动程序活动 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 3.7 systemd 下其它零星监控命令列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.1 pam_unix(8)

混合部署，也支持 openHarmony 和 openEuler Embedded Linux 的混 合部署。 3. 实时虚拟化：openEuler 社区孵化了嵌入实时虚拟机监控器 ZVM 和基于 rust 语言的 Type-I 型嵌入式虚拟机监控器 Rust- Shyper，可以满足不同场景的需求。 内核创新 15 openEuler 24.03 LTS 技术白皮书 内核创新 内核创新 16 openEuler MGLRU 特性：多层级的 LRU 机制，更精确地识别页面的冷热信息，提升高内存压力场景下的系统性能，降低 OOM 的概率。 • DAMON 特性：轻量级内存访问监控框架，可在用户态实现虚拟地址或物理地址的访问监控，实现轻量精确的在线监控，助力 性能提升。 • Memory-tiering 特性：内存分层特性，目标以最高效和成本效益的方式满足内存的使用需求，降低内存的使用成本。 • hugetlb 特性：MPAM（内存系统组件隔离监控）是用于解决服务器系统中，混部不同类型业务时，由于共享资源的竞争而带来 的关键应用性能下降或者系统整体性能下降的问题。另外，对于业务共享资源的使用，以 CPU 或者 PID 为粒度，进行实时跟 踪监控。OLK 6.6 下 MPAM 重构的版本提供若干新特性： 1）完整支持 L2 cache 分区隔离和监控功能，其中关于监控功能，支持统计缓存占用量，同时监控缓存带宽流量。

15 功能描述 1. 全局管理器 OS-Controller，监控所有节点上的 OS 实例，收集所有节点 OS 信息，实现全局 OS 的生命周期管理， 包括升级、重启、配置，以及关机时驱逐 Pod。OS 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 2. 节点代理 OS-proxy，部署和运行在工作节点上，监控单节点的 OS 实例，收集单节点 OS 信息，并上报到 OS-agent。 部署引擎：部署引擎负责下发任务给业务集群，触发部署业务集群、销毁业务集群、新增节点和删除节点等任务。 适用场景 X86/ARM 双平面云基础设施，基于 K8S 云原生框架，实现 OS 统一集群化部署、监控、审计等场景。 安全容器 StratoVirt： 1. 强安全性：基于 Rust 实现语言级安全，模块按需组合最小化攻击面，支持多租户物理隔离。 2. 轻量低噪：采用极简设备模型时，启动时间小于 SELinux 的策略开发，后续可扩展支持 AppArmor 等其它安全机制。 功能描述 UI Prometheus Mysql Plasticsearch 数据存储 应用拓扑感知 日志 系统指标 系统状态 故障推导引擎 配置溯源 统一数据管理 agent 数据采集 KPI Customer agent 数据采集 KPI Customer agent 数据采集 KPI Customer

重启主机：连接的用户会感知到业务中断，且由于重启时间长，导致业务中断时间较长，用户不可以接受。 2. 业务迁移：典型业务占用大量的内存，需要对整个内存进行迁移，这样会导致长时间的业务性能低下问题，不能满足 客户性能指标。 3. 热补丁：无法修复所有的问题，部分问题热补丁无法打入。 利用内核热升级，可以保持业务无中断与性能无损的情况下，修复内核问题。 用户态 MySQL 控制 程序 业务进程 保存 心跳方式 支持网络心跳，包括单心跳和双心跳模式，全方位监控共享数据资源。 • 秒级切换能力及故障恢复后自动回迁机制 完善的保护机制及丰富的应用程序代理，使服务器或资源出现故障时能够秒级检测并自动完成切换操作。当故障排除后， 服务自动回迁，支持 7×24 小时永不停机的企业级应用系统。 • 极端情况下对数据完整性的保护 通过监控共享数据资源，在双机出现极端故障的情况下，保护服务器数据的完整性。 据的完整性。 • 极低的系统资源占用 系统资源占用极低，基本不会与被保护应用争抢系统资源。 • 完整的日志 HA 高可用集群方案提 供完整的日志及相关调试信息，便于系统管理员进行监控、管理。 应用场景 应用场景 1：业务连续性保障 随着企业信息系统的广泛应用和深入发展，用户的核心应用数量越来越多，特别一些关键的业务系统，更是要求提供 7×24 小时不间断服务，对业务连续性的要求很高。HA

系统有一定的了解，并且能够熟练使用 Linux 命令来完成 以下任务： 31 ➢ 访问命令行； ➢ 使用命令行管理文件； ➢ 创建、查看和编辑文本文件； ➢ 管理本地用户和群组； ➢ 监控和管理 Linux 进程； ➢ 控制服务和守护进程； ➢ 利用文件系统权限控制文件访问； ➢ 分析和存储日志文件； ➢ 配置和确保 OpenSSH 服务的安全； ➢ 安装和更新软件包； 等防火墙策略配置服务来完成数十个根据真实工作需 求而设计的防火墙策略配置实验。在完成这些实验之后，读者不仅可以熟练地过滤请 求的流量，还可以基于服务程序的名称对流量进行允许和拒绝操作，使用 Cockpit 轻 松监控系统运行状态，确保 Linux 系统的安全性万无一失。 ➢ 9 ssh ：本章讲解了如何使用 nmtui 命令配置网络参数， 以及通过 nmcli 命令查看网络信息并管理网络会话服务，从而让您能够在不同工作场景 考试或者购买了一台云主机，还会看到类似于/dev/vda、 /dev/vdb 这样的设备。这种以 vd 开头的设备叫作 Virtio 设备，简单来说就是一种虚拟化设备。 像 KVM、Xen 这种虚拟机监控器（Hypervisor）默认就都是这种设备，等大家步入工作岗位 后可能会见到更多。 6.3 文件系统与数据资料 同学们可以拿出一张 A4 纸，然后横过来在上面随便写上几行字，在书写过程中慢慢就

164 3.2 开始安装CentOS 7 图 3.2.5、设置完成的示意图 从上图 3.2.5 当中，我们可以看到这部机器的相关硬件配备喔！不过，竟然没有发现光驱耶！ 真怪！那请按下上图中指标指的地方， 加入一个新硬件！新硬件增加的示意图如下所示： 鸟哥的 Linux 私房菜：基础学习篇 第四版 165 3.2 开始安装CentOS 7 图3.2.6、新增硬件示意图 如上图所示，我们来创建一个 的来龙去脉， 那么 shell script 就不可不知，为什么呢？因为： 自动化管理的重要依据 不用鸟哥说你也知道，管理一部主机真不是件简单的事情，每天要进行的任务就有：查询登 录文件、追踪流量、监控使用者使用主机状态、主机各项硬件设备状态、 主机软件更新查 询、更不要说得应付其他使用者的突然要求了。而这些工作的进行可以分为： （1）自行手动 处理，或是 （2）写个简单的程序来帮你每日“自动处理分析”这两种方式，你觉得哪种方式比 [top](../Text/index.html#topm) 这个指令已经谈过相关信息，不再聊！ netstat ：追踪网络或插槽档 这个 netstat 也是挺好玩的，其实这个指令比较常被用在网络的监控方面，不过，在程序管理 方面也是需要了解的啦！ 这个指令的执行如下所示：基本上， netstat 的输出分为两大部分， 分别是网络与系统自己的程序相关性部分： [root@study ~]# netstat

本文档使用 书栈(BookStack.CN) 构建 图3.2.5、设 置完成的示意图 从上图 3.2.5 当中，我们可以看到这部机器的相关硬件配备喔！不过，竟然没有发现光驱耶！真怪！那请按下上图 中指标指的地方， 加入一个新硬件！新硬件增加的示意图如下所示： 5.2. 3.2 开始安装CentOS 7 - 131 - 本文档使用 书栈(BookStack.CN) 构建 图3.2.6、新增硬件示意图 的来龙去脉， 那么 shell script 就不可不知，为什么呢？因为： 自动化管理的重要依据 不用鸟哥说你也知道，管理一部主机真不是件简单的事情，每天要进行的任务就有：查询登录文件、追踪流量、 监控使用者使用主机状态、主机各项硬件设备状态、 主机软件更新查询、更不要说得应付其他使用者的突然要 求了。而这些工作的进行可以分为： （1）自行手动处理，或是 （2）写个简单的程序来帮你每日“自动处理分 [top](../Text/index.html#topm) 这个指令已经谈过相关信息，不再聊！ netstat ：追踪网络或插槽档 这个 netstat 也是挺好玩的，其实这个指令比较常被用在网络的监控方面，不过，在程序管理方面也是需要 了解的啦！ 这个指令的执行如下所示：基本上， netstat 的输出分为两大部分，分别是网络与系统自己的程 序相关性部分： 1. [root@study ~]#