和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

servicecomb.apache.org 弱一致性 Weak 最终一致性 Eventually 强一致性 Strong 业界常用的一致性分类 5 github.com/apache?q=servicecomb servicecomb.apache.org 方案\指标 2PC 传统事务 可靠事件 TCC 柔性事务 SAGA 补偿事务 数据一致性 强一致 最终一致 最终一致 最终一致 总体性能 github.com/apache?q=servicecomb servicecomb.apache.org 总结 • 在服务拆分阶段就应该尽量避免事务 • 并不是所有地方都要求强一致性 • 强一致性也不保证绝对的一致 • 所有方案都是尽量缩小不一致的时间窗口 • 考虑成本 Copyright©2018 Huawei Technologies Co., Ltd. All Rights

ServiceComb项⽬目负责⼈人 • Apache Member , IPMC, 多个Apache项⽬目 • RedHat, IONA, Travelsky 议题 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 微服务架构 • 微服务架构将⼀一个应⽤用分成多个相互独⽴立的服务。 • 好处是各个服务能够持续独⽴立的开发和部署。 • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • BASE • 基本可⽤用（Basically Available） • 柔性状态 （Soft state） • 最终⼀一致性 （Eventually Consistent） （刚性事务） 释放Try阶段预留留的业务资源 业务服务 try confirm cancel 通过领域建模来解决 • 微服务内：聚合通过数据库事务保证强⼀一致 • 内刚 • 微服务间：最终⼀一致 • 外柔 微服务事务⼀一致性建议 • 1987年年Hector & Kenneth 发表论⽂文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 +

ServiceComb项⽬目负责⼈人 • Apache Member , IPMC, 多个Apache项⽬目 • RedHat, IONA, Travelsky 议题 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 微服务架构 • 微服务架构将⼀一个应⽤用分成多个相互独⽴立的服务。 • 好处是各个服务能够持续独⽴立的开发和部署。 • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • BASE • 基本可⽤用（Basically Available） • 柔性状态 （Soft state） • 最终⼀一致性 （Eventually Consistent） （刚性事务） 释放Try阶段预留留的业务资源 业务服务 try confirm cancel 通过领域建模来解决 • 微服务内：聚合通过数据库事务保证强⼀一致 • 内刚 • 微服务间：最终⼀一致 • 外柔 微服务事务⼀一致性建议 • 1987年年Hector & Kenneth 发表论⽂文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 +

MVC/JAX-RS） Golang 编程 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio 降级，容错熔 断等服务治理功能 • Service Center • 基于Etcd高性能，高可用服务注册中心 • Saga • 微服务事务最终一致性问题解决方案 • 提供一个集中式的事务协调器，协调微服务之间的事务调用，保证事务最终一致性 https://github.com/apache?q=incubator-servicecomb ServiceComb Java Chassis的架构图 程 池 分布式服务调用追踪 • 支持标准的分布式调用追踪Zipkin V1,V2 • 支持通过@span扩展自定义调用追踪 分布式事务一致性问题 A B C commit rollback 分布式事务一致性问题 A B C Saga分布式事务一致性解决方案 Saga Coordinator Saga Saga Saga ID: x Saga Log Saga Started

• 服务足够小  • 独立运行  • 轻量级通信机制  • 独立的部署  • 去中心化 • 要多小？  • 怎么部署？  • 出错怎么办？  • 如何保证一致性 玩得起微服务的条件 持续改进的⾃自组织⽂文 快速响 Tall enough 服 务 ⾃自 演 进 2009年 2012年初探微服务 2014年⿊黑暗时代 2015年服务治理 导致整个提交流⽔水线堵塞，测 试⼈人员⽆无法拿到新的版本，交 付延期 4 团队出现冲突，架构腐化严重 交付不能完成导致各⾓角⾊色间的 冲突越来越严重，为了快速上 线质量遭到牺牲。架构⽆无⼈人守 护，各种不⼀一致性，服务内部 接⼝口⼀一⽚片混乱，核⼼心⼈人员离 职。 2014年问题倍出（⼆二） 不要再添加任何服务！ 当然不是！ 业务迅速扩张 技术选型灵活 助⼒力客户快速占领市场 那怎么办？ 2015年服务治理 导致整个提交流⽔水线堵塞，测 试⼈人员⽆无法拿到新的版本，交 付延期 4 团队出现冲突，架构腐化严重 交付不能完成导致各⾓角⾊色间的 冲突越来越严重，为了快速上 线质量遭到牺牲。架构⽆无⼈人守 护，各种不⼀一致性，服务内部 接⼝口⼀一⽚片混乱，核⼼心⼈人员离 职。 部署成功率很低，部署时经常 有⼀一堆环境修改需求，运维⼈人 员出错机会增加，运维效率极 低。 ⽆无法快速有效定位问题，⽆无法 快速有效知晓服务运⾏行状态，

提供微服务注册发现以及限流降级，容错熔断等治理功能 • Service Center • 高性能，高可用服务注册中心 • Saga • 微服务数据一致性问题解决方案 • 提供一个集中式的事务协调器，协调微服务乊间的事务，保证事务最终一致性 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 ServiceComb 1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 微服务数据一致性问题 A B C commit rollback 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 微服务数据一致性问题 A B C 2018 Building Microservice NO

l 为什么实现自己的服务注册中心？ 1. 提供标准接口（RESTful） 2. 负载均衡，服务订阅（客户端LB，长连接） 3. 运行时依赖（Go） 4. 可靠性（BASE，最终一致性） 从服务注册中心到服务管理中心 1. 元数据 2. 依赖关系 3. 实例变化推送 4. 多租隔离 5. 高可用性保障 从服务注册中心到服务管理中心 元数据 1. 互联网分布式系统设计的准则：BASE 1. Basically Available（基本可用） 2. Soft state（软状态） 3. Eventually consistent（最终一致性） CAP理论：Consistency(一致性), 在分布式系统的各点同时保持数据的一致。 Availability(可用性), 每个请求都能接受到一个响应，无论响应成功戒失败。 Partition toleran

SpringMVC/JAX- RS） Golang 编程 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量量 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务⼀一致性 服务契约 平滑上云 拥抱开源⽣生态 处理理链 微服务脚⼿手架 服务安全 治理理UI ⾃自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot 断等服务治理理功能 • Service Center • 基于Etcd⾼高性能，⾼高可⽤用服务注册中⼼心 • Saga • 微服务事务最终⼀一致性问题解决⽅方案 • 提供⼀一个集中式的事务协调器器，协调微服务之间的事务调⽤用，保证事务最终⼀一致性 https://github.com/apache?q=incubator-servicecomb ServiceComb Java Chassis的架构图

容错熔断等服务治理功能 • Service Center 基于Etcd高性能，高可用服务注册中心 • Pack (Saga) 微服务事务最终一致性问题解决方案，提供一个集中式的事务协调器，协调微 服务之间的事务调用，保证事务最终一致性 https://github.com/apache?q=servicecomb 4 github.com/apache?q=servicecomb gMVC/JAX- RS） Golang 编程 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 （Rest&RP C） 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringClou d SpringBoot Istio