第⼀个开源项⽬，在GitHub上有超过8500颗星，上百位社区贡献者， 上万家企业⽤户，是国内领先的开源可观测性解决⽅案。 创始团队均来⾃国内⼀线互联⽹公司：创始团队在 等互联⽹公 司，⻓期担任基础设施、云计算、稳定性保障等⽅向的负责⼈。 公司简介：快猫星云是⼀家云原⽣智能运维科技公司 由国内顶级投资机构连续投资。 INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED © 北京快猫星云科技有限公司 北京快猫星云科技有限公司 以故障处理为中⼼的稳定性保障模型 故障开始 故障发现 故障定位 服务⽌损 状态恢复 状态正常 状态正常 发现处理 可能出现尝试定位和 尝试⽌损过程的反复 常态预防 复盘改进 ⾸要原则是：先⽌损后排查 状态异常 稳定性建设的重点 增强预防、发现处理能⼒ Flashcat • ⽇常巡检 • ⽇常排查 Flashcat Flashcat ⾯向服务稳定性保障场景 INTERNAL 基础设施分析 。。。 引导定位 关键特征 关键事件 量化业务层的健康状态 量化IT系统层的健康状态 预置故障定位的最佳实 践，引导分析定位问题 串联打通，交互验证 数据融合，最佳路径 ⾯向稳定性保障场景 ⾯向业务视⻆的故障发现定位体系 数据采集 数据集成（Integration） ⼀体化可观测平台 指标数据 ⽇志数据 链路数据 关键事件 业务/服务/系统/基础设施 INTERNAL

保障；而每日运行的dailybuild测试在 CI测试基础上增加了异常自动化测试 和混沌测试，确保master分支代码的 bug尽可能早地暴露出来。 通过这种流程，curve可以在一定 程度上保证master分支的稳定性。 master 10/33版本管理 Curve版本命名规则是x.y.z{-后缀}  x为主版本号，每次发布大版本时递增； 大版本一般半年发布一次。  y为次版本号，每次发布小版本时递增; 0-rc1 新功能 Bug修复 cherry-pick 11/33测试方法论 从测试粒度看，测试可以分为单元测试、集成测试、系统测试； 从测试角度看，测试可以分为常规测试、性能测试、异常测试、稳定性测试、混沌测试，等等  单元测试 1300+用例 行覆盖80%+，分支覆盖70%+  集成测试 Given When Then 设计方法 500+用例  异常测试 40+自动化用例 功能测试 站在使用者的角度，对模块提供的功能进行完备 的测试。  异常测试 制造或模拟系统异常(磁盘错误、网络错误、资源 冲突等)、依赖服务异常、应用本身异常等非正常 情况，测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作，是否 会出现异常或者崩溃， 14/33系统测试 系统测试是对整个系统的测试，将硬件、软件、操作人员看作一个整体，检验它是否有不符

05 夜莺设计实现：技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术，IT故障会直接影响营业收入， 稳定性体系一定要重视起来，而监控，就是稳定性体系中至 关重要的一环 运维监控需求来源 01.监控的原始需求来自业务稳定性 左图是2013年的一个新闻，讲 Google宕机的影响。2020年也出现 过aws大规模宕机的情况，影响不 止是55万美元，直接影响大半个 2018年有美国调研机构指出，如 果服务器宕机1分钟，银行会损失 27万美元，制造业会损失42万美 元 美团故障？滴滴故障？腾讯故障？ 运维监控需求来源 01.监控的原始需求来自业务稳定性 如何减少服务停摆导致的经济损失？尽快发现故障并止损！故障处理过程中，监控是『发现』和『定位』两个环节 的关键工具。故障处理过程的首要原则是『止损』，因此，过程中的『发现』和『定位』都是面向尽快『止损』来

量。当一个进程组使用的内存超过了 Memcg 的限制时，Memcg 会触发内存回收，以确保系统的稳定性和可靠性。Memcg 异步回收是一种优化机制，它 可以在系统负载较低的时候，异步地回收 Memcg 中的内存，以避免在系统负载高峰期间出现内存回收的延迟和性能 问题。这种机制可以提高系统的稳定性和可靠性，同时也可以提高系统的性能和响应速度。 • 支持 filescgroup：Cgroup files 故障、亚健康检测的监测与识别 云原生技术的广泛应用，致使现代应用部署环境越来越复杂。容器架构提供了灵活性和便利性，但也带来了更多的监 测和维护挑战。CPDS（容器故障检测系统）应运而生，旨在为容器化应用提供可靠性和稳定性的保障。 集群信息采集 在宿主机上实现节点代理，采用 systemd、initv、ebpf 等技术，对容器关键服务进行监 控，采集集群基础服务类数据； 对节点网络、内核、磁盘 LVM 等相关信息进行监控，采集集群 CPDS（容器故障检测系统）在各种容器化应用和基础设施的管理、监控和故障处理中都有着重要的应用价值。利用 CPDS可以监控节点、业务容器的状态、资源使用情况和性能 指标，协助团队快速响应和修复潜在的故障，提高系统的稳定性、 可用性和维护效率，保障 应用的可靠运行，解决了行业内的一个核心痛点问题。 CPDS 现支持对以下故障项进行检测： 应用场景 序号 故障检测项 1 容器服务是否正常 2 容器节点代理是否正常

的开源特性只是一部分优势，并不足以成为您付出精力去努力学习的理由。 对普通用户来讲，开源共享精神仅具备锦上添花的效果，我们更加看重的是，Linux 系 统是一款优秀的软件产品，具备类似 UNIX 系统的程序界面，并继承了其良好的稳定性。而 且，开源社区也在源源不断地提供高品质代码以及丰富的第三方软件支持，能够在高可用性、 高性能等方面较好地满足工作需求。 当然，大多数读者应该都是从微软的 Windows 系统开始了解计算机和网络的，因此肯定 发行套件系统是我们常说的 Linux 操作系统，也就是由 Linux 内核与各种常用 软件的集合产品。 全球大约有数百款的 Linux 系统版本，每个系统版本都有自己的特性和目标人群—有 的主打稳定性和安全性，有的主打免费使用，还有的主要突出定制化强等特点。下面从用户 的角度选出最热门的几款进行介绍。 23 本书全篇将以“Linux 系统”来替代“Linux 在世界 500 强企业中，所有的航空公司、电信服务提供商、商业银行、医疗保健公司 均无一例外地通过该系统向外提供服务。 红帽企业版 Linux 当前的最新版本是 RHEL 8，该系统具有极强的稳定性，在全球范 围内都可以获得完善的技术支持。该系统也是本书和红帽认证考试中默认使用的操作 系统。 ➢ Community Enterprise Operating System, CentOS

通过iSCSI支持更多系统，例如Windows, 类UNIX系统等，使用两项基础 技术 • TCP/IP • SCSI • 替代SAN • 可靠性、稳定性方面有自己的的特色，使用raft副本一致性和copyset概念可以自动 修复损坏的副本，并且可扩容。无论在可靠性、稳定性还是性价比方面都很有优势， 使用廉价硬件搭建。iSCSI软件 • Client端: iscsi initiator，系统自带 • Linux

不同协议/驱动使用中的问题 • io抖动（一致性协议）： 异常场景（比如阵列卡一致性巡检，坏盘，慢盘，网络异常），服务升级 • 性能差（一致性协议）：在通用硬件下，无法支撑数据库、kafka等中间件对存储性能和稳定性要求 • 容量不均衡（数据放置）：集群各节点容量不均衡需要人为干预 • 上述问题和架构涉及、核心功能的选型有关，在已有开源版本上改进代价很大分布式存储介绍 01 存储的发展 | 分布式存储的分类 直观查看任务运行情况， 数据开发方便，系统运 维方便 易运维 具备可视化的开发页面， 直观查看任务运行情况， 数据开发方便，系统运 维方便 高质量 基于在架构上的选择和优秀的工程实践，Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境：3台服务器*8块NVME， Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ，256G，3副本，使用自带fio

级虚拟机提供连续的物理内存页面，提高虚拟机内存访问效率。 • IO 子系统增强：支持多通道并发 IO 能力，提高 IO 性能。支持 IO-QOS 能力，提升虚拟机 IO 流量管理的灵活性和 稳定性。 • 系统调用过滤：通过极简设备模型设计和 SECOMP 过滤系统调用，最简配置下仅需使用 35 个系统调用，有效减小 系统攻击面。 更多详细内容请参考 openEuler 20.09 技 障、数据持续保护、灾难恢复的高 可用环境。该方案利用健康检测、秒级切换等功能，可以解决软硬件或人为原因造成的单点集群故障而引起的业务中断问题。 有效确保单点系统或集群上关键任务应用程序和数据的稳定性和可靠性，保护业务系统的高可用。 HA 高可用集群方案迁移适配工作由麒麟软件主导的 HA SIG 负责完成，并且在 openEuler 开源。 功能描述 • 多种灵活的集群援备模式 支持

3）更安全的子树委派： 通过委派机制允许非特权用户创建和管理自己的 cgroup 层次结构。通过合理利用委派，系统管理员可以提供给用户或应用程 序必要的控制权限，提供更细粒度的资源管理，同时保持系统的稳定性和安全性。 4）更丰富的特性支持： 基于统一的文件树管理，支持 psi、页面缓存回写、跨多个资源的增强资源分配管理和隔离、统一核算不同类型的内存分配， MemoryQoS 等特性。 • Maple IP、快速单主模式、智能选主， 并针对流控算法、事务认证队列清理算法、节点加入 & 退出机制、recovery 机制等多项 MGR 底层工作机制算法进行深度优化， 进一步提升优化了 MGR 的高可用保障及性能稳定性。 - 支持地理标签特性，提升多机房架构数据可靠性。 - 支持仲裁节点特性，用更低的服务器成本实现更高可用。 功能描述 用户可开启对应的安全机制，如安全启动、内核模块校验、IMA 等，开启后可使能签名校验功能。

Uber 派单系统 &运维演化 李李宁 Uber核⼼心流稳定性负责⼈人 ⾃自我介绍 李李宁, 多年年运维: 2004-2007 浙⼤大Linux镜像和代理理运维 —杭州 2007-2012 百度⽹网⻚页搜索运维 —北北京，深圳 2013-2015 Twitter后端存储运维 —旧⾦金金⼭山 2015-2019 Uber派单系统运维 —旧⾦金金⼭山 ⽬目录 Uber派单系统简介和进化