registry data_proxy LB DNS app/browser nginx-Proxy nginx-Proxy data(r) 同城双活的探索 未来的担忧 单机房 如果发生机房级的灾难怎么办？ 单集群 随着流量越来越大，集群规模 越来越大，怎么破？ 单元化&多活的范围 boss 客服系统 销售系统 风控审核 催收系统 政策管理 prod devops 用户增长 发布系统 故障时，只影响内 部办公相关的公司 经营活动，不影响 用户下单交易 故障时，间接或部分影响用户 下单交易，但有降级方案来缓 冲、减少影响 故障时，只影响日 常研发运维活动的 进行，不影响用户 下单交易 故障时，直接影响用户下单交 易，且没有降级方案来缓冲、 减少影响 …… 财务系统 招聘系统 …… 美好的愿望 中心机房 registry 全站业务服务 全站业务服务 data(r/w) web 核心交易平台 风控审核平台 data_proxy 单元机房 registry data(r) web data_proxy registry_sync 电商单元 核心交易平台 风控审核平台 残酷的现实 缺乏按用户维度的流量调度能力 LB Nginx-Proxy Nginx-Proxy 自建IDC 云IDC 3 2 1 6

����� ������ ������ ������ ���� 11 N 如何定义服务 N 如何发布和订阅服务 N 如何治理服务 N 如何监控服务 N 如何定h故障 N ...... ��������� 12 ����� Registry! Client! Service! Monitor! • ��������������� �������������� Service��� • Registry����������� ��������������� 16 ���� N 灰度发布 N A/B测试 N 流量控制 N 机房选择 N ...... # app1�������������20880����� # app2�������������20881����� --- scope: application ü 失败调用查询O4LLQ5LLP ü 调用链详情展示 监控告警 76 �����Mercury���� 应用开发人员 I5运维Q监控W心人员 应用管理人员 • 快速故障告警和问题定h • 把握应用性能和容量评g • 提l可追溯的性能数据 • 定h线S服务性能瓶颈 • 持续e化b码和43. • 帮助快速解x线S问题 • t方h把握应用整i拓扑结构

慢调用查询 ü 失败调用查询Q4NNT5NN） ü 调用链详情展示 监控告警 全链路监控/eIcLIO核心jv 应用开发c员 I5运维T监控中心c员 应用管理c员 • 快速故障告警和问题定o • 把握应用性能和容量评n • 提r可追溯的性能数据 • 定o线U服务性能瓶颈 • 持续l化g码和43L • 帮助快速解决线U问题 • 全方o把握应用整p拓扑结构 4.��� 定制版的HaIboIQ开源镜xf库） (ocCeI 镜xf库接口 HaIboI UI V14QVI2 1bBecK 4KoIage） 海量S高可用的镜x存储 多机房分发 0oah容器云KLbeIFeKes容器编排 ���� • ���CPU��� • �� ”��” ��������� ����� • �� / Health

Service Mesh Meetup #6 广州站 微服务改造事项 DNS-F在数据 库场景的落地 名字服务在负 载均衡场景的 落地 DNS-F在微服 务场景的落地 应用层探活 数据库故障 恢复时间长 服务故障牵 引慢，流量 接入生效时 间长 DNS生效慢 内部服务无 就近接入能 力 服务性能下 降流量不摘 除 实 例 切 换 能 力 秒 级 流 量 牵 引 能 力 D N S 负载均衡配置下发无状态改造 虎牙负载均衡部署的机器数百，配置下发的可靠性保障，一致性保障要求特别严格， 如果出现配置下发不及时，或下发配置失败，极大可能出现故障，同时负载均衡服 务弹性能力的要求较高，在业务高峰如果不能快速扩容，容易出现全网故障 传统配置下发方式 负载均衡配置固话在配置文件中， 节点操作需要人工上系统操作增减 节点 配置中心监听方式 客户端主动监听配置更新，配置秒 级生效，新扩容服务主动拉取全量 动态切换节点的能力 3、支付等业务， 对故障时间敏感， 手工切换无法满足需求 背景 目标 1、提供http，tcp的业务拨测能力， 能够按照预定条件进行对负载 均衡RS节点的摘除，屏蔽故障 2、保证拨测任务的SLA，能够按时执行，故障屏蔽秒级生效时间 方案介绍 落地效果 故障节点发现时间 之前分钟级 10s内 流量摘除生效时间 之前10分钟 30s内 故障屏蔽实效 之前10分钟 1分钟内

OpenAPI规范，最终将微服务API规范化、标准化、在线化。系统从传统单体 应用的黑盒调用（本地Java方法调用）转变成透明的API契约调用  服务自治：通过在线的微服务治理结合云平台，可以实现微服务的弹性伸缩、故障自劢 迁移、降级熔断等，保障微服务的运行质量，提升业务SLA  建立服务化团队：随着业务的丌断拆分，大的研发团队也会被拆分成2-Pizza Team， 微服务团队由3-5人组成，负责整个微 CSE在消费者云业务的实践-可靠性 1、分布式服务化本身引入的潜在故障点： 2、微服务第三方依赖潜在故障点： CSE的可靠性设计：  集群容错，自劢路由  服务中心、配置中心无状态集群，宕机丌影响已有业务  支持服务级故障隔离  支持多链路和链路级故障隔离  支持服务熔断和降级，以及第三方故障隔离（集成Hystrix） CSE在消费者云业务的实践-服务调用高性能 CSE在消费者云业务的实践-服务治理能力 为什么需要服务治理：  随着业务的发展，服务越来越多，如何协调线上运行的各个 服务，保障服务的SLA，对服务架构和运维人员是一个很大 的挑戓  线上业务发生故障时，需要对故障业务做服务降级、流量控 制、流量迁移等，快速恢复业务  随着开发团队的丌断扩大，服务的上线越来越随意，上线容 易下线难，为了规范服务的上线和下线，在服务发布前，需 要走服务预发布流程，由架构师戒者项目经理对需要上线的

左右、时延降低 28% 左右，CPU占用降低 56% 左右 实践-故障隔离 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter.im/ServiceCombUsers/Lobby 利用ServiceComb的隔离仓技术，实现业务不同接口的故障隔离 充值服务 APP付费下载服务 APP评论服务 业务线程池 业务线程池 手机客户端 WAP客户端 图书门户 单点故障 故障扩散 故障扩散 无线程池隔离仓： 充值服务 开户服务 客户资料查询服务 其它非关键服务 隔离仓-1 隔离仓-3 手机客户端 WAP客户端 图书门户 单点故障 正常 正常 隔离仓-2 配置隔离仓： 通过配置线程池隔离仓，实现快 慢接口、读写接口、核心和非核 心接口、管理和业务接口的调度 隔离，提升微服务可靠性

--Chris Richardson 容错 故障和问题 线上故障“画像“ 系统稳定性指标 可监控设计 同步调用下-无线程池隔离 同步调用下-线程池隔离实现方法 快速失败-超时 快速失败-时间窗口 快速失败-超时重试次数 区分部署和上线 常规系统保障流程 没有不出问题的系统 什么是混沌工程 混沌工程 故障注入 故障测试的区别 总结 工具 知识 经验 参考书籍

tolerance(分区容错性)，当出现网络分区故障时系统的容错能力 从微服务到服务管理中心 1.实例缓存机制 从微服务到服务管理中心 2.心跳保活机制 从服务管理中心到etcd 1.异步缓存机制 从服务管理中心到etcd 2.异步心跳机制 自我保护机制 前面提到的缓存机制，保证了ServiceCenter在etcd出现网络分区故障时依 然保持可读状态，Servic 然保持可读状态，ServiceCenter的自我保护(Self-preservation)机制保证 了Provider端与ServiceCenter在出现网络分区故障时依然保持业务可用。 ServiceCenter在一个时间窗内监听到etcd有80%的实例下线事件，会立即 启劢自我保护机制。即使etcd存储的数据全部丢失，这种极端场景下， SDK与ServiceCenter之间可在不影响业务的前提下，做到数据自劢恢复。

Security Level: 目录 1. 微服务拆分工具 2. 契约管理工具 Huawei Confidential 3 微服务架构的优势 因素 单体架构 微服务架构 交付速度 较慢 较快 故障隔离范围 线程级 进程级 整体可用性 较低 更高 架构持续演进 困难 简单 沟通效率 低 高 技术栈选择 受限 灵活 可扩展性 受限 灵活 可重用性 低 高 实现业务复杂性分解难度 困难 高 对工具的依赖 较低 较高 运维复杂度 低 高 Huawei Confidential 4 微服务架构的第一大问题——如何拆分微服务？ •影响因素 >团队大小 >交付周期 >业务方向 >故障范围 >现有数据规模 >吞吐量 >一致性 >…… Huawei Confidential 5 拆分不好，可能带来的问题 •拆分不好，可能带来的问题 >服务数量爆炸，运维复杂 >服务数量太少，不够灵活

• 业务增长对性能要求高，增加机器不能解决问 题 • 一个业务问题影响整个系统，风险高 基于微服务引擎Mesher功能将PHP应用接入微服务治理 Mesher 工作流服务 Mesher 故障处理服务 Mesher 资产管理服务 Mesher 物料管理服务 Mesher 统计报表服务 微服务注册中心 灵活扩展 应用零改造 微服务化 快速迭代，加 快上线速度 非侵入式接入微服务 架构不统一，有使用SpringCloud、Dubbo、Servlet等各 种架构，维护成本非常高 大系统小做缩短上线周期 • 快速、小批量交付价值需求 • 上线周期： 月 -> 周/天 动态自治降运维成本 • 弹性伸缩、故障自动迁移、 降级熔断，提升复杂分布 式系统运维效率 华为消费者云服务全微服务化的基础底座， 实现运营更敏捷 servicecomb.apache.org github.com/apache