和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 Saga transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

Producer 透明RPC JAX-RS SpringMVC 以契约为核心，贯穿始终 • 开发模式(业务代码)、治理、传输三方解耦，互不感知 • 以高性能的Reactive为基础，同时兼容传统的同步开发模式，且支持传统的Servlet传输 LoadBalance …… QPS Trace …… QPS 架构 Common Swagger Generator Invocation endpoints endpoints endpoints Endpoint RESTful Highway All ...... 微服务调用-consumer 透明RPC： 同步、异步声明，可以分开进行，也可以在同一个接口中声明 interface Schema { String hello(String name); } interface Schema { C hello") CompletableFuture helloReactive(String name); } RestTemplate AsyncRestTemplate 微服务调用-同步consumer Consumer Eventloop connection Queue/Buffer consumer thread synchronize invoke Handlers

什什么是微服务架构？ • 微服务架构是⼀一种架构模式，将单体应⽤用划分成⼀一组⼩小的服务，服务之间互相协作，为⽤用户提供最终价值 • 每个服务运⾏行行在其独⽴立的进程中，服务间采⽤用轻量量级的通信机制协作（通常是基于RESTful API） • 每个服务都围绕着具体业务进⾏行行构建，并且能够被独⽴立的部署到⽣生产环境、类⽣生产环境等 Microservices – the new architectural https://www.continuousdelivery.com/ • 缩短交付周期 • 降低发布⻛风险 • 质量量内嵌 组织协同 环境管理理 数据管理理 松耦合架构 反馈验证 持续集成/部署 内建质量量 微服务架构是松耦合架构机制的⼀一种实现 为什什么基于DevOps？ ● Communication ● Automation ● Measuring ● Sharing “去”中⼼心化 • ⾃自动化“⼀一切” 去“中⼼心化” - ⽤用合适的技术解决问题 数据库作为集成点 去“中⼼心化” - 业务持有数据 ⽤用户会话 Redis 会话服务 上下⽂文 购物⻋车 购物⻋车 产品数据 Mongo 产品服务 上下⽂文 上下⽂文 Redis 去“中⼼心化” - 业务持有数据 去“中⼼心化” - 智能服务⽽而⾮非智能总线 去“中⼼心化” - 智能服务⽽而⾮非智能总线

q=servicecomb Demo简介 从一个简单的天气预报微服务应用谈起 • Weathermapweb：界面服务 nodeJS • Fusionweather：汇聚服务，为前台界面提供数据 • Forecast：预报天气 • Weather：当前天气 • http://wyfrs4z7zxumdjp9.zizipo.cn-east- 2.huaweicse.com/#!?city=shenzhen 返回当前天气 数据库 API 任务 内容 getWeatherTask 从OpenWeatherMap定期 查询天气数据 定时任务 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 最简单的微服务 – 微服务的基本组件 组件 • 1个服务（应用+数据库） • 服务注册中心 • 每个微服务有自己的数据库（层） • 服务架构应用的质量很大程度取决于服务的拆分的高内聚，低耦合，不了解服务间通信，无法做出高质量的拆分。 不同的业务，涉及的不同的服务间通信有不同的要求 1. 关注事务性要求（ACID） 2. 关注对性能的要求 举例：商品维护和下订单是2个微服务，下订单系统对性能有较高要求，所以可以考虑把商品的价格从商品维护微服务同步到订单系统，该同步动作 对性能没有要求，对事务性有要求。

房资格的对应信息（验资，诚意金等） id, customer_id, sale_id, comments 1…..* 接口 内容 customers CRUD qualifications CRUD 数据库 API git clone https://github.com/apache/servciecomb-samples cd servicecomb-samples/houserush/script/docker http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 最简单的微服务 组件 • 1个服务（应用+数据库） • 服务注册中心 a) https://github.com/apache/servicecomb-center 服务注册中心 b) 核心服务注册表 |---服务名---|---服务实例U • 每个微服务有自己的数据库（层） • 服务架构应用的质量很大程度取决于服务的拆分的高内聚，低耦合，不了解服务间通信，无法做出高质量的拆分。 不同的业务，涉及的不同的服务间通信有不同的要求 1. 关注事务性要求（ACID） 2. 关注对性能的要求 举例：客户维护和订单是2个微服务，订单系统对性能有较高要求，所以可以考虑把购房资格信息从客户维护微服务同步到订单系统，改同步动作 对性能没有要求，对事务性有要求。

• ServiceComb的特点 • ServiceComb的发展路线图 • 如何加入ServiceComb社区 微服务架构面临的问题 • 分布式系统问题 • 服务注册发现 • 容错熔断机制 • 限流降级 • 运维相关问题 • 动态配置管理 • 系统监控 • 路由管理 微服务的雄关漫道 • 服务框架 • Service Mesh ServiceComb开源微服务解决方案 POJO…) 服务契约 （OpenAPI） 服务发现 熔断 负载均衡 配置 跟踪 … 运行模型 围绕服务契约进行开发以及运维 异步化支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程与业务处理线程分离 • 操作级别线程池控制，支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream 生态支持 Java 9支持 Spring Boot 2.0 支持 脚手架应用示例 服务中心 多数据中心支持 契约测试 微服务管理控制 开源配置中心 对接多监控系统 Service Mesh 多语言微服务支持 监控管理对接 微服务事务协调器 服务端高可用 管理控制台 同步异步事件支持 如何加入到ServiceComb社区 • 线上 • 关注ServiceComb微信小助手，

ServiceComb的特点 • ServiceComb的发展路路线图 • 如何加⼊入ServiceComb社区 微服务架构⾯面临的问题 • 分布式系统问题 • 服务注册发现 • 容错熔断机制 • 限流降级 • 运维相关问题 • 动态配置管理理 • 系统监控 • 路路由管理理 微服务框架与解决⽅方案 • 服务框架 • Service Mesh ServiceComb开源微服务解决⽅方案 配置 跟踪 … 运⾏行行模型 围绕服务契约进⾏行行开发以及运维 异步化⽀支持 • 基于Vertx提供的异步内核 • 保持⾼高性能的同时⽀支持同步调⽤用⽅方式 • 将通信线程与业务处理理线程分离 • 操作级别线程池控制，⽀支持隔离仓 • ⽀支持多种异步编程接⼝口 • CompletableFuture • RxJava • Reactive AsyncRestTemplate CompletableFuture ⽣生态⽀支持 Java 9 + ⽀支持 Spring Boot 2.0 ⽀支持 脚⼿手架应⽤用示例例 服务中⼼心 多数据中⼼心⽀支持 契约测试 微服务管理理控制 开源配置中⼼心 对接多监控系统 Service Mesh 多语⾔言微服务⽀支持 监控管理理对接 多协议对接 微服务事务协调器器 服务端⾼高可⽤用

负载均衡，服务订阅（客户端LB，长连接） 3. 运行时依赖（Go） 4. 可靠性（BASE，最终一致性） 从服务注册中心到服务管理中心 1. 元数据 2. 依赖关系 3. 实例变化推送 4. 多租隔离 5. 高可用性保障 从服务注册中心到服务管理中心 元数据 1. 应用App，便于微服务可在多个应用间重用 2. 微服务名称，App内唯一 3. 微服务描述信息，让使用者可以快速了解到业务范畴等 在分布式系统的各点同时保持数据的一致。 Availability(可用性), 每个请求都能接受到一个响应，无论响应成功戒失败。 Partition tolerance(分区容错性)，当出现网络分区故障时系统的容错能力 从微服务到服务管理中心 1.实例缓存机制 从微服务到服务管理中心 2.心跳保活机制 从服务管理中心到etcd 1.异步缓存机制 从服务管理中心到etcd 从服务管理中心到etcd 2.异步心跳机制 自我保护机制 前面提到的缓存机制，保证了ServiceCenter在etcd出现网络分区故障时依 然保持可读状态，ServiceCenter的自我保护(Self-preservation)机制保证 了Provider端与ServiceCenter在出现网络分区故障时依然保持业务可用。 ServiceCenter在一个时间窗内监听到etcd有80%的实例下线事件，会立即

虎牙基础保障部中间件团队负责人 2019.8.11 Service Mesh Meetup #6 广州站 微服务改造事项 DNS-F在数据 库场景的落地 名字服务在负 载均衡场景的 落地 DNS-F在微服 务场景的落地 应用层探活 数据库故障 恢复时间长 服务故障牵 引慢，流量 接入生效时 间长 DNS生效慢 内部服务无 就近接入能 力 服务性能下 降流量不摘 除 实 接 入 能 力 异 常 摘 除 能 力 dmx dns-f app nacos M S write read DNS-F在数据库场景的落地 背景 在数据库服务切换时效率低，依赖 业务方修改配置，时效不确定，通 常需要10分钟以上； 目标 数据库切换秒级生效； 技术特点-DNS-F M S S S M1.mysql S1.mysql S2.mysql S3.mysql 级生效，新扩容服务主动拉取全量 配置，流量接入时长缩短3分钟+ 配置名字服务 配置IP方式 服务端下发文件更新配置，更新配 置生效时间长，由于需要预先知道 负责均衡集群的机器信息，扩缩容 需要等元信息同步以后才能接入流 量，扩容流量接入时间长 负载均衡节点对接名字服务 虎牙负载均衡部署的机器一台机器上可能存在数百的配置，每次节点生效需要重新 reload配置，且节点新增或删除需人工上系统操作配置，配置生效对服务会有中断

 微服务API设计：支持Swagger API规范  开发方式：支持透明RPC、Spring MVC风格的微服务开发  编程模型：同时支持同步、异步的编程模型  性能：支持原生的Reactive模式（EventLoop），相比于传 统的同步服务调用，性能更高（吞吐量N倍+提升、时延降低 为原来的50%-）  轻量级、易集成：可以方便的与Spring MVC、Tomcat等 已 Motan LB 内置LB： 客户端负载均 衡 外置LB： Nginx、 Ribbon SLB 注册中心 配置服务：  Zookeeper  etcd 缓存方案：  Redis 数据库方案：  DB + MQ 服务治理 服务治理： 超时、流控、 降级等 运维KPI：  ELK  Zabbix 调用链：  zipkin 选择ServiceComb的原因： 实践- 业务熟悉的模式，可以更好的重用已有代码和开发经验，提升重构 效率 实践-同步和异步 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter.im/ServiceCombUsers/Lobby 不一刀切，根据业务实际需要选择同步或者异步微服务调用 微服务消费端 业务 线程 池 异步 I/O线 程池