## 降级预案在同程艺龙的工程实践 演讲者 / 王俊翔 同程艺龙 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 交易故障 ## 缺乏降级设计 第三方支付 支付时限任务 支付回写 支付中心 支付通知 消息队列 交易中台 队列故障 支付超时 订单取消 已支付订单被取消 ## 订单 待出行订单 全部订单 预订日期：3月18日 • 核心业务是否有损 ·弱依赖 - 熔断限流，有损服务 serviceA 弱依赖 熔断、限流 · 强依赖 - 备选服务，降级实现 用户请求 service serviceB 强依赖 降级 serviceC- 备选服务 serviceC 强依赖 ## 业界解决方案 - HYSTRIX Netflix开源的一款容错框架，支持多种降级熔断技术 ![Image](/uploa

f2c074ac188a6a8e4f3cd8ee/p4_3.jpg) • 分布式系统问题 • 服务注册发现 • 运维相关问题 • 容错熔断机制 • 动态配置管理 • 系统监控 • 限流降级 • 路由管理 • 服务框架 ## 服务性采 NETFLIX OSS DUBBO • Service Mesh ## © ## ServiceComb开源微服务解决方案 ![Image] ServiceMesh 动态配置 监控运维 ## Public Cloud 治理UI 自动部署 对接行业解决方案 平滑上云 ## ServiceComb微服务解决方案 处理链 Dubbo 限流 负载均衡 Token认证 服务契约 微服务脚手架 Saga事务一致性 通信协议 (Rest&RPC) 服务注册 分布式追踪 服务度量 拥抱开源生态 SpringBoot SpringCloud Istio …… Prometheus K8S ## ServiceComb项目介绍 ## • Java Chassis 高性能的微服务框架，提供服务注册发现以及动态配置管理，以及限流降级，容错熔断等服务治理功能 ## • Service Center 基于Etcd高性能，高可用服务注册中心 • Saga • 微服务事务最终一致性问题解决方案 • 提供一个集中式的事务协调

-chassis java SDK b) https://github.com/apache/servicecomb-mesher 多语言解决方案 c) 重试 d) 负载均衡 e) 限流 f) 降级（隔离、熔断、容错） g) 分布式跟踪 网关 a) 路由 b) 黑白名单 c）和认证鉴权集成 ## 服务间的通信 背景：为什么服务间通信重要？ • 每个微服务有自己的数据库（层） 把异步继续进行。 3. 低超时+重试策略配置。“高可用”的定义？A跟a的区别→客户端无异常。 4. Zuul VS edge-service（更优）。 5. 生产环境需从最外层开始设置限流策略，并设置降级机制。 Thank You. 欢迎添加 ServiceComb小助手 加入微服务技术交流群，架构、设计、开 发、解BUG、调优，总有您感兴趣的话题 欢迎关注 微服务蜂巢公众号 获取更多微服务技术干货、资讯文章

a/d34abd2b0f481ab87e31fe4e23fb8aa8/p4_1.jpg) • 分布式系统问题 服务注册发现 • 运维相关问题 • 容错熔断机制 • 动态配置管理 • 限流降级 系统监控 · 路由管理 OSCAR云计算开源产业大会 微服务的雄关漫道 · 服务框架 ## NETFLIX OSS DUBBO • Service Mesh 骨 © OSCAR云计算开源产业大会 监控运维 对接行业解决方案 平滑上云 Java编程 (POJO/Spring MVC/JAX-RS) ServiceComb微服务解决方案 熔断/容错 处理链 Golang 编程 限流 负载均衡 Token认证 边缘服务 服务契约 微服务脚手架 Saga事务一致性 通信协议 (Rest&RPC) ServiceMesh 动态配置 服务注册 分布式追踪 SpringCloud Istio … Prometheus K8S OSCAR云计算开源产业大会 ## • Java Chassis - 高性能的微服务框架，提供服务注册发现以及动态配置管理，以及限流降级，容错熔断等服务治理功能 ## • Service Center 基于Etcd高性能，高可用服务注册中心 • Saga • 微服务事务最终一致性问题解决方案 • 提供一个集中式的事务协调

义负载均衡算法与路由算法，不受限于 API 网关实现；通过运行时动态执行用户自定义函数方式来实现 Serverless，使网关边缘节点更加灵活； ### 8. 治理能力丰富 如故障隔离、熔断降级、限流限速等；在启用主动健康检查后，网关将支持智能跟踪不健康上游节点的能力，并自动过滤不健康节点，以提高整体服务稳定性。 ### 1.3 功能架构 API 网关主要包含了如下功能模块： · 用户系 等，并能够实现 HTTP 协议到后端服务其它协议的转换。API 网关对外暴露统一 HTTP 入口，管理员可通过控制台界面完成协议转换设置，支持请求与后端服务的参数映射； 服务治理：API7 支持熔断、限流、限速、IP 黑白名单、故障隔离等能力，通过控制台可视化面板，可方便、清楚地完成相关功能设置； - 自定义插件：API7 内置了50多种插件，涵盖安全防护、流量控制、日志记录等各个分类，可满足绝大多数企业需求。对于特定业务，API7 d>Redis✓✗✗✗✗限流/集群限流✓✓✗✗✓限速✓✓

0 码力 | 19 页 | 1.12 MB | 2 年前

3

alt=‘OCR图片’/> 微服务的演进 梳理业务边界 资源隔离部署 内外网服务隔离 RPC框架 API Gateway 微服务的演进 序列化 （GOB） 上下文管理（超时控制） 拦截器（鉴权、统计、限流） 服务注册（Zookeeper） 负载均衡（客户端） 微服务的演进 type TestArgs struct { A, B int } type TestReply struct errgroup并行调用 业务隔离 熔断、降级、限流等高可用 Agenda 微服务的演进 高可用 中间件 持续集成和交付 运维体系 高可用 隔离超时限流降级容错 高可用 ’ alt=‘OCR图片’/> 高可用 隔离超时限流降级容错 高可用 ’ alt=‘OCR图片’/> 高可用 隔离超时限流降级容错 高可用 ’ alt=‘OCR图片’/> 高可用 隔离超时限流降级容错 高可用 ’ alt=‘OCR图片’/> alt=‘OCR图片’/> 高可用 隔离超时限流降级容错 高可用 ’ alt=‘OCR图片’/> Agenda 微服务的演进 高可用 中间件 持续集成和交付 运维体系 中间件 databus （基于Kafka） canal (MySQL Replication) bilitw（基于Twemproxy） bfs (facebook haystack, opencv) config-service dapper

ments/9/4/9/d/949d63af799b196c8d4b4645ca213b4f/p6_2.jpg) 互联网高并发微服务化架构设计 九、配置中心的设计与实践 八、服务的熔断，降级，限流设计 一、微服务化的基石：持续集成 七、性能优化之消息队列与异步化设计 二、静态资源分离与接入层设计 三、应用层设计之无状态化与容器化 四、应用层设计之服务的拆分，发现与编排 五、性能优化之数据库设计与横向扩展 设计要点七：消息队列与异步化  ## 设计要点八：熔断，限流，降级  ## 设计要点九：配置中心 秒杀场景测试 限流演练 降级演练 预案演练 故障演练 安全测试演练 采用梯度压力，看服务的性能变化情况，评估出服务的最大容量值。 在达到停止条件之后，继续增加压力，检验服务集群在失效状态下的表现。 在峰值压力下，保持30分钟（可讨论）稳定 制造脉冲式的压力，检验系统在脉冲压力下的表现是否稳定。 针对秒杀类业务，制定秒杀测试场景 多级限流，保护系统稳定提供服务 非核心业务降级，提升整体服务能力

客户端容器监听文件，根据地址文件找Proxy - 切换地址到remote proxy，轻易实现优雅退出和滚动升级 - 增强隔离性 - Local Proxy被pod共享 - 自保护，对来源方限流和流量转移 - 资源适配 - 根据宿主机的硬件配置定制不同资源配置的Daemonset ## Overall ![Image](/uploads/documents/6/a/7/4/6 kubernetes ## 服务治理程度更接地气 - 不停的迭代、落地、反馈，打造一系列的实用的治理功能 - 规则路由、标签路由、邻近机房路由、Hash路由、基于权重的路由、熔断、健康探测、超时重试、限流降级等等 - 契约化治理，服务接口变更diff并通知上游 - 环境无关，物理机、云、测试机器、本机都能跑 路由控制配置 调用域规则 callerldmatch"osp-ps.api 被切走的客户端每10s切换回来local proxy，若仍然超限会再被切走 • 默认单IP限流值是2w qps ## 今年计划（Roadmap） ## Roadmap - 智能参数治理 - 实时反馈 - 历史指标 - OSP智能故障分析&告警 - 基于内部的智能根因分析大框架 - 全链路服务综合治理 - 实时上下游超时治理 - 实时上下游限流治理 - 智能路由 ## • 开源 ## 智能参数治理

主要依靠中间件×中间件治理控制熔断降级：主要依靠中间件中间件限流：速率限制√中间件资源隔离：主要依靠中间件中间件< 务和中间件的耦合成本 · 基础架构与业务架构可以独立演进 · 为多语言栈提供了服务治理能力 ## 持续演进的诉求 · 提供高质量的服务治理能力 · 增强流量管理能力 · 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 · 支持更多的协议 · 增强控制面 · 配合业务容器化上云及混合云架构 Service Mesh 概念正式提出 2016年9月29日第一次被公开提出 ![ IBM 和 Lyft 联合开发, Go 语言, 与 K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管理能力 - Istio 补齐了 K8s 在微服务治理上的短板（限流、熔断、降级、分流等） - Istio 以 Sidecar 的形式运行在 Pod 中，自动注入，自动接管流量，部署过程对业务透明 • 提供了完整的 Service Mesh 解决方案 · 数据面：Envoy

metric数据上报 时间窗 熔断 监控 可定制Metric数据 手动隔离 日志收集 超时 可靠性 告警 服务端限流 运维 限流 熔断 客户端限流 负载均衡 降级 动态配置 降级 TLS通信 安全 路由策略 鉴权 限流 ## 路由规则 · 引流 支持权重 根据消费者信息或请求特征进行引流 Provider 1.2 Consumer 0.1 http://127.0.0.1:8080 Mesher https://10.100.2.3:30101 Mesher - 透明TLS传输能力，用户可托管自己的证书 • 提供者可获得服务端限流能力和处理链功能 ## 调用场景2 ServiceA ServiceB SDK Mesher ServiceC 消费者与Mesher一起部署 - 提供者为Java或者Go语言微服务框架开发 _3.jpg)  负载均衡 限流 降级 容错 熔断 路由策略 ## □ 新增 All 熔断方式：自动熔断 详情：熔断时间窗：5000,失败率：10,窗口请求数：20 ![Image](/uploads/documents/f