利用夜莺扩展能力打造全方位监控系统 喻波 滴滴 专家工程师 目 录 运维监控需求来源 01 监控痛点：全面完备、跨云 02 夜莺介绍： 国产开源监控系统 03 夜莺设计实现：Agentd 数据采集 04 夜莺设计实现：Server 数据处理 05 夜莺设计实现：技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术，IT故障会直接影响营业收入，

5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....................................12 1.6 各行业客户案例............................................. ........ 22 2.3.7 云 RDS 在线申请部署及操作、变更、回收............................................... 23 2.3.8 云弹性 IP 在线申请部署及操作、变更、回收............................................ 23 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 ....................................................................................... 49 3.4 模块化扩展能力.................................................................................................

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 并在内核方向实现内核热升级、内存分级 扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是openEuler全新发布后的第一个社区版本，实现了全场景支持。 LTS SP4 版本，其作为 20.03 LTS 版本的增强扩展版本，面向服务器、云原生、 边缘计算场景，提供更多新特性和功能增强。 2023 年 12 月 30 日，发布 openEuler 22.03 LTS SP3 版本，是 22.03 LTS 版本增强扩展版本，面向服务器、云原生、边缘计 算和嵌入式场景，持续提供更多新特性和功能扩展，给开发者和用户带来全新的体验，服务更多的领域和更多的用户。 力，从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持 ，从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 X86、ARM、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持， 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 的可编程调度框架，支持内核调度器动态扩展调度策略，以满足不同负载的性能需求，具备 以下特点： （1） 标签管理机制：开放对任务和任务组进行标签标记的能力，用户和内核子系统可通过接口对特定工作负载进行 标记，调度器通过标签可以感知特定工作负载的任务。 （2） 抢占、选核、选任务等功能点的策略扩展：可编程调度框架支持 CFS 调度类抢占、选核、选任务等功能的策略扩展， 提供精心设计的扩展点和丰富的辅助方法，帮助用户简单，高效的扩展策略。

........................................82 9 云弹性 IP 在线申请部署及操作变更回收........................................................................ 84 9.1 查看查找弹性 IP............................................ ........................... 84 9.2 申请新弹性 IP....................................................................................................... 85 9.3 绑定弹性 IP..................................... ...................86 9.4 解绑弹性 IP...........................................................................................................87 杭州飞致云信息科技有限公司 4 9.5 回收弹性 IP..........................

各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力 以达到高可靠、高可用、高可扩分布式存储的要素 可靠性 & 可用性 —— 多副本/EC 服务不可用时 间 数据一致性 —— 一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 所用容量都用完后，可以新增机器扩展容量分布式存储的要素 — 数据分布 无中心节点：哈希算法 INPUT (Offset, Len) HASH HASH mod 72 (DiskNums) (0

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是 openEuler 全新发布后的第一个社区版本，实现了 力，从而不断孵化 新技术。发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 X86、ARM、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持， 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、 支持嵌入式虚拟化弹性底座，提供 Jailhouse 虚拟化方案、openAMP 轻量 化混合部署方案，用户可以根据自己的使用场景选择最优的部署方案。同时支持 ROS humble 版本，集成 ros-core、ros- base、SLAM 等核心软件包，满足 ROS2 运行时要求。未来 openEuler Embedded 将协同 openEuler 社区生态伙伴、用户、 开发者，逐步扩展支持 RI

是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台 有 Nutanix、戴尔的 VxRail，国内的 SmartX、青云超融合。 运维支撑工具平台 指运维工作中帮助运维的各种运维工具平台，如 应用系统 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的虚拟机、 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、运行在一 个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在 滤功能，用于设置云服 务器、负载均衡、云数据库等实例的网络访问控制，控制实例级别的出入 流量，是重要的网络安全隔离手段。可以通过配置安全组规则，允许或禁 止安全组内的实例的出流量和入流量。 弹性 IP 是私有云、公有云中租户能够申请获取保留专用的公网 IP 地址。在私有云、 公有云中，如果指定给虚拟机分配公网 IP，虚拟机停止后再启动会自动分 配一个新的公网 IP，及公网 IP 地址会发生变化，会导致无法使用之前的公

志性的事件。 2021 年 3 月 31 日，openEuler 21.03 创新版如期而至，该版本不仅将内核切换到 Linux Kernel 5.10, 还在内核方向实 现内核热升级、内存分层扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 openEuler 作为一个发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。 openEuler Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 • 内核热升级：内核漏洞快速修复，业务不感知。 构筑云化基座： • iSula：iSulad iSula：iSulad 支持本地卷管理，isula-build 新增镜像拉取、推送等功能。 • StratoVirt& 虚拟化：支持内存弹性、大页、增强 IO 子系统、通过多通道并发提升 IO 性能。 • OpenStack&Kubernetes：向云而生，集成两大主流云计算调度和管理软件，构筑云化基座 。 • HA 高可用集群方案：麒麟软件贡献的 HA 高可用集群方案，故障秒级切换。

Memory CPU Network Serverless 用户 云厂商 Serverless vs. IaaS 运维能力对比 资源创建 业务部署 监控告警 故障排查 性能调优 安全保障 弹性扩缩 故障恢复 基本运维能力 核心运维能力 Serverless vs. IaaS 运维能力 资源创建 - IaaS 2~3 周 ？ 运维部门 需求文档 审批&排期 运维部门 软件安装 ❑受限次数 ❑… 故障排查 Serverless vs. IaaS 运维能力 ❑ 全链路追踪 ❑ 各个维度的监控 ❑ CLS日志服务 一般通过日志排查。 高级功能依赖于插件安装，门槛很高。 弹性扩缩 Serverless vs. IaaS 运维能力 ❑ 小时 级 ❑ 分钟 级 ❑ 毫秒 级 虚拟机 容器 Serverless 故障恢复 Serverless vs. IaaS 运维能力 weeks 开发 Coding 上线 Online More Than 8 weeks 最终上线后，我需要维护… 运维复杂 Complex Ops 测试复杂 Complex Test 扩展复杂 Complex Scaling 稳定安全 Reliability, Security 只关注核心业务 核心业务逻辑 Core Business Code 数据库读写，文件存储