## Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name: 张慧 网易伏羲 Speaker Title: 网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email: zhangui05@corp.netease.com ## 1 ## 网易伏羲私有云简介 ![Image](/uploads/d

GitHub: hexilee PingCAP R&D PingCAP 研发工程师, CNCF 开源项目 Chaos Mesh $ ^{®} $ 核心贡献者，主要负责工程效率提升和 HTTP 故障注入功能的设计实现。并推动 GraphQL 在 Chaos Mesh 项目中的实践落地。 ![Image](/uploads/documents/f/6/3/3/f633ae18a6c6017204800ef06cc94453/p2_1

的地方数不胜数； ■ 识别风险后，有针对性地对系统进行加固、防范，打造更具弹性的系统，建立对运行高可用分布式系统的信心； ## 混沌工程 故障注入 故障测试的区别 ## 混沌工程 ■ 主动去找故障 ■ 探索性的 ■ 一种实验性的方法 ## 故障注入 ■ 事先知道发生什么故障 ■ 穷举故障列表 ■ 然后一个一个的去注入 ## 故障测试 ■ 给定一个条件，期望一个结果 ■ 测试只会产生二元结果 测试只会产生二元结果 ■ 仅仅是对系统可能的取值进行测验 ■ 混沌工程是一种帮助我们获得更多的关于系统的新认知的实验方法。比如随机杀死部分节点的行为，每次实验都可能产生新的数据。 ■ 故障注入和故障测试是通过引入故障，让程序走入一些不常经过的路径，以此提高程序覆盖率，是对特定条件、变量的验证。 ## 总结 ## 工具 知识 经验 工具 知识 经验 ## 参考书籍 架构修炼之道 亿级网关、平台开放、分布式、微服务、容错等

的执行 ## 线上演练 - 发现潜在故障，多维度验证预案有效性，评估系统可靠性，提供降级策略、参数调整的优化依据 ## 整体架构 KAFKA 日志数据 Attach ETL 个 故障注入 应用JVM进程 故障动态注入 Agent 日志中心 故障代码注入 数据采集 ## 熔断降级接入 Application Application Application Application 故障抽象，提炼统一模型 延时模型、超时模型、异常模型、自定义代码模型 - 基于模型实现应用故障、中间件故障模拟，实时对应用程序进行字节码插桩、拆桩 ## 简洁易操作后台 可视化UI，参数、配置下发，快速实现故障注入 • 丰富的故障模块管理功能 ## Application VVM

Attach	Method Event
ASM / Instrumentation

Agent 控制指令、参数下发、故障注入 故障演练 管理后台 ## 故障注入流程 1. 发送Agent启动指令 Agent Listener 2. Attach 目标 VM 进程 6. Redis超时模拟 vm.attach(pid) Redis

限流：速率限制√中间件资源隔离：主要依靠中间件中间件故障注入：不提供×超时控制、重试、重写、重定向等：继承Nginx的timeout机制√故障注入）与业务架构解耦 · 支持更多的协议 · 增强控制面 · 配合业务容器化上云及混合云架构 Service Mesh 概念正式提出 2016年9月29日第一次被公开提出 ![Image]( d>限流√中间件资源隔离√故障注入√超时控制、重试、重写、重定向等√0 码力 | 25 页 | 2.07 MB | 1 年前

td>✗流量镜像✓✗✗✓✗故障注入✓✗✗✗✗API管理多API S插件，以支持浏览器向服务发出请求。fault-injection启用故障注入插件后，将直接返回指定HTTP状态码与响应内容给传入的请求，以实现服务维护的需求。故障注入ip-restriction通过将IP地址列入白名单或黑名单来限制对服务的访问，可以设置

• 功能迭代 · 先南北，后东西 • 先原生，后二开 • 先管控面，后数据面 ## 落地场景—Spock测试平台 ·历史问题 - 分布式系统性能测试问题定位难 · 多版本并发测试 - 故障注入较困难（代码侵入性强） - 测试环境不稳定，后端Pod频繁重启 • 解决方案 • Contour产品化 • Istio的灰度发布和流量管理 • Istio的Tracing产品化 ## 落地场景—云存储系统 [Image](/uploads/documents/c/3/e/f/c3ef4ed136dfe5ab18e58c03dcd47608/p13_1.jpg) ## 未来发展 · 更多功能 • 故障熔断 • 故障注入 • 业务配置动态分发 ## • 优化升级 • 性能优化： • DPDK + eBPF • 系统优化 根据需求裁剪lstio。解耦Envoy和其他组件 • 裁剪Istio相关CRD，简化系统结构

• 单元测试 行覆盖80%+，分支覆盖70%+ - 集成测试 Given When Then 方法完备的测试用例集 - 自动化异常测试41个异常用例 - 自动化大压力随机故障注入20轮随机故障注入  01 背景 为何从0到1开发Curve

[Image](/uploads/documents/2/7/f/8/27f8a724fbd8e98f19663c509c0d94bd/p9_2.jpg) 服务注册中心客户端 限流熔断客户端 动态配置客户端 故障注入客户端 SOA 解耦了不同的业务团队之前的耦合 Service Mesh 解耦了业务开发与基础团队之前的耦合 ## 三、 方案落地 开源/自研：全部迁移到 envoy？不现实，自有协议+历史负担。