降级预案在同程艺⻰龙的⼯工程实践 演讲者 / 王俊翔 同程艺龙 ⾃自我介绍 搜索故障 微信⼩小程序 API⽹网关 资源1 搜索引擎 统⼀一资源⽹网关 资源2 资源3 资源4 …… 资源4 ⼤大量量超时 统⼀一资源⽹网关 搜索引擎 API⽹网关 ⼤大量量请求超时 缺乏熔断设计 交易易故障 第三⽅方⽀支付 ⽀支付中⼼心 ⽀支付回写 消息队列列 ⽀支付通知 交易易中台 交易易中台 ⽀支付时限任务 出票处理理 队列列故障 已⽀支付订单被取消 ⽀支付超时 订单取消 缺乏降级设计 稳定性之路路到底有多远 如何设计⾯面向容错的系统，如何提升系统的可⽤用性 强弱依赖 • 弱依赖 - 熔断限流，有损服务 • 强依赖 - 备选服务，降级实现 什什么是强弱依赖，如何确定强弱依赖 • ⽤用户是否强烈烈感知 • 核⼼心业务是否有损 service ⽤用户请求 熔断、限流 降级 业界解决⽅方案 - HYSTRIX Netflix开源的一款容错框架，支持多种降级熔断技术 资源隔离 断路路器器 降级操作 请求合并 请求缓存 实践过程中遇到的问题 • 业务改造成本⾼高，代码耦合，维护成本增⾼高 • 固化策略略，需线下修改代码，测试，发布，线上应急策略略响应不不 友好 • ⽆无法⽀支撑多系统的复合指标计算，业务降级⽀支持不不友好

......................................................................................... 14 升级 / 降级任务................................................................................................. 能。您可 以通过点击右侧的向下箭头来隐藏或自定义任何快速工具按钮，并选择将快速访问工具栏放 在功能区的顶部或底部。 功能区 1. 开始选项卡 在“主页”选项卡中，您可以设置任务进度；升级和降级、拆分、链接和取消链接任务；添 加任务或子任务；设置基线、里程碑、设置工作时间。 7 2. 视图选项卡 亿图项目管理软件会根据您制作的甘特图自动生成数据报告，您可以在“视图”选项卡里找 到 升级 / 降级任务 亿图项目管理软件可以将多个任务分组形成不同的的阶段。“降级任务”按钮 使一 个任务降级为从属任务（子任务），从而使摘要任务进入具有从属任务的阶段。 “升级任 务”将子任务转换为摘要任务。 15 降级任务 (Ctrl + Right Arrow) 可以通过三种方式来降级一个任务：  选中需要降级的任务，在键盘上按下“Ctrl + 右箭头”；  选中需要降级的任务

分布式缓存 数据库为中心 缓存为中心 www.163yun.com 设计要点七：消息队列与异步化 www.163yun.com 设计要点八：熔断，限流，降级 www.163yun.com 设计要点九：配置中心 www.163yun.com 设计要点十：日志中心 www.163yun.com 设计要点十一：全链路监控 www.163yun (流量接入层) 路由 路由 插件 分流 流量 镜像 维护 开关 API 监控 认证 鉴权 治理 文档 报表 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 APM (应用运行期监控) 运行时 测试，生产镜像仓库分离，自 动同步 开发测试环境自动部署，生产 环境手动触发 持续集成 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 服务 告警 监控 大屏 账户

配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 Ng+ LUA 流量调度 降级 限流 灰度 接口分发 ？?� FNS Fund 宜睿 P2P BASE Other … … 剥离到网关 部分功能前置 统一接口标准 措施:剥组件[深度定制网关] 配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 Ng+ LUA 流量调度 降级 限流 灰度 接口分发 运营活动动态配置，接口重新编排 热点功能前置，网关分发许可限流，保护底层 接口req/resp重写，透明操作 全功能API配置，热加载 方案: 积分商城 ... ... 账户中心 迅速响应业务变化 before after 第三部分 流量应对策略 流量≈并发 更强的machine 更多machine(cap) 限流降级 Concurrency is about dealing with lots of things at once. Parallelism is about doing lots of things

多端迭代的效率，一直是商家端产研关注的重点。 1.1.1 保障多端体验一致性 由于端能力的不同，导致了业务在 App 和 Web 上存在较大的表现差异，例如：App 上自带动画转场，而在 Web 中的实现成本却较高，往往也就降级舍弃了这部分功能。 此外，即使我们可利用公司内部的 Roo、MTDUI 等多端 UI 组件库来尽量抹平各端 的 UI 差异，但由于组件库在各端的实现不尽相同，很难做到完美的一致性体验。 1.1 后缀文件方式完成相同接口不同逻辑的实现。 2. 评估是否有关联依赖需求 如明确业务需求需要同步，先判断该需求是否有前置需求依赖，再评估技术方案。如 无依赖可直接开始复用适配工作；如有依赖，需判断前置需求能否一起同步或做适当 降级，以此递推，避免因前置依赖需求未同步出现不符合预期的问题。 3. 制定 RN 组件适配与小程序接入方案 明确需求同步范围评估工作后，需完成以下技术评估工作：（1）明确需求是否需要新 建复用组件 11 Flap 在美团内网生态 如图 11 所示，Flap 生态的特点可以用 稳、快、准、狠 四个字来表达。 4.1 稳 稳，意为可靠的质量管理体系。在① IDE 开发中②提测阶段③线上监控④降级容灾， 我们都有对应的策略。其中②和③的基本是和 Native 类似的 PR 检查、QA、日志、 上报之类的这里就不做赘述了，下面主要提一下①和④。 IDE 语法检测插件 这个功能的意义是尽

4 降级 Flutter UI Adapt CSSender Navigator MJFlutter … 异常处理 上线 Http Dart Bridge CSSender Flutter For Web Common CGI Storage … 自动化脚本 部署系统 发布 … Serve 上线 降级 Flutter For Web 4 降级 Flutter Flutter与Native交互异常 Flutter For Web 4 动态更新 Flutter UI Adapt CSSender Navigator MJFlutter … 降级 热更新 反馈 … 异常处理 上线 Http Dart Bridge CSSender Flutter For Web Common CGI Storage … 自动化脚本

负载均衡：支持 RR、权重、一致性 Hash 等 √ 流量复制：不提供 × 故障转移：继承 Nginx 的 Failover 机制 √ 安全 访问控制：主要依靠中间件 × 中间件 治理控制 熔断降级：主要依靠中间件 中间件 限流：速率限制 √ 中间件 资源隔离：主要依靠中间件 中间件 故障注入：不提供 × 超时控制、重试、重写、重定向等：继承 Nginx 的 timeout 机制 √ Lyft 联合开发，Go 语 言，与 K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar 的形式运行在 Pod 中， 自动注入，自动接管流量，部署过程对业务 透明 • 提供了完整的 Service Mesh 解决方案 • 数据面：Envoy 路由控制：静态路由、动态路由、流量染色、分流控制等 √ 负载均衡：支持 RR、权重、一致性 Hash 等 √ 流量复制：Envoy 自带 √ 故障转移 √ 安全 访问控制：RBAC vs Mixer √ 治理控制 熔断降级 √ 限流 √ 中间件 资源隔离 √ 故障注入 √ 超时控制、重试、重写、重定向等 √ 监控/故障诊断 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM

化、标准化、在线化。系统从传统单体 应用的黑盒调用（本地Java方法调用）转变成透明的API契约调用  服务自治：通过在线的微服务治理结合云平台，可以实现微服务的弹性伸缩、故障自劢 迁移、降级熔断等，保障微服务的运行质量，提升业务SLA  建立服务化团队：随着业务的丌断拆分，大的研发团队也会被拆分成2-Pizza Team， 微服务团队由3-5人组成，负责整个微服务的设计、开发、测试、部署运维和治理，通过 微服务框架技术选型-服务治理能力  服务框架丌能只单单解决分布式RPC调用、服务注册&发现和路 由问题，更重要的是业务微服务上线乊后，需要提供实用和丰富 的在线治理能力  流量控制、幵发控制、超时控制、服务降级、服务熔断、路由权 重调整…  常用的服务治理能力要内置到服务框架中，业务领域强相关、非 通用能力可以通过扩展点实现 微服务框架技术选型-易集成  当前业务使用Spring MVC等传统的单体架构，希望可以较平滑、 CSE的可靠性设计：  集群容错，自劢路由  服务中心、配置中心无状态集群，宕机丌影响已有业务  支持服务级故障隔离  支持多链路和链路级故障隔离  支持服务熔断和降级，以及第三方故障隔离（集成Hystrix） CSE在消费者云业务的实践-服务调用高性能 CSE的高性能设计：  提供Rest和Highway RPC两种通信协议，满足 丌同业务场景

CGO集 成 快速交付 内核稳定 生态趋势 数据中间件——指标服务 Golang 高性能 高可用 扩展性 安全性 可运营性 业务发展驱动技术演进 服务网关 过载保护 流控降级 SET部署 立体监控 敏捷集成 微服务探索 跨部门 异构系统 非标接口 托管接入 业务隔离 解析适配 IDL • 标准接口 • 字段约定 Script 转码逻辑 • 非标接口 Redis、令牌桶 流控 • 轻重分离、单元化部署、容错 降级 • 实时上报、缓存汇聚/本地文件、ELK 日志监控告警 • Bind Golang to Lua 运行时类库 并发模型 异步Async 批量Batch 多核并行Parallel Lua协程绑定Go程 IO阻塞自动切换 高可用 负载均衡 寻址 限流 缓存 降级 SLA保证 并行执行单元 消息总线 屏蔽本地网络差异

难度大，风险高 上线独立: 单次上线需求列表多，上线时间长，影响面大 简化扩容: 由于业务多，每一次扩容需要增加的配置比较杂。一些不起眼的小业务虽然不是扩容的主要目 的，也需要慎重考虑 容灾降级:核心业务与非核心业务耦合，在关键时候互相影响 微服务拆分微服务架构要点 微服务架构 要点 服务发 现 负载均 衡 集群容 错 高可用 配置管 理 调度和 部署 伸缩性 集中化 网易微服务框架www.163yun.com 网易微服务框架www.163yun.com 新一代微服务治理平台 服务A jar envoy 服务B jar envoy 服务C jar envoy 降级 限流 路由 日志收集 日志分析 调用次数 调用时间 服务治理 日志分析 统计监控 Data Stream Kafka Storm集群 Hbase Hadoop Redis DDB 容器管理平台本身也是微服务 所有的多租户容器请求入口流量 对接多个业务：OpenStack， Kubernetes，所有PaaS，持 续集成，镜像仓库，计费，用 户，认证，…… 高可用，横向扩展 熔断，限流，降级 负载均衡，路由 监控，统计 可靠消息163yun.com