和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

servicecomb.apache.org 弱一致性 Weak 最终一致性 Eventually 强一致性 Strong 业界常用的一致性分类 5 github.com/apache?q=servicecomb servicecomb.apache.org 方案\指标 2PC 传统事务 可靠事件 TCC 柔性事务 SAGA 补偿事务 数据一致性 强一致 最终一致 最终一致 最终一致 总体性能 14 github.com/apache?q=servicecomb servicecomb.apache.org 总结 • 在服务拆分阶段就应该尽量避免事务 • 并不是所有地方都要求强一致性 • 强一致性也不保证绝对的一致 • 所有方案都是尽量缩小不一致的时间窗口 • 考虑成本 Copyright©2018 Huawei Technologies Co., Ltd. All Rights

ServiceComb项⽬目负责⼈人 • Apache Member , IPMC, 多个Apache项⽬目 • RedHat, IONA, Travelsky 议题 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 微服务架构 • 微服务架构将⼀一个应⽤用分成多个相互独⽴立的服务。 • 好处是各个服务能够持续独⽴立的开发和部署。 commit() OK commit() OK • 提供强⼀一致保障 • 准备阶段完成资源操作 • 如果准备过程中出现问题，可以回滚 • 提交阶段不不允许出错 • 资源层⾯面提供保障业务侵⼊入性低 • 协议成本⾼高，并且存在全局锁的问题 ACID 与 BASE • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • BASE • 基本可⽤用（Basically Available） • 柔性状态 （Soft state） • 最终⼀一致性 （Eventually Consistent） （刚性事务） （柔性事务） https://queue.acm.org/detail.cfm?id=1394128 TCC • Try: 尝试执⾏行行业务

ServiceComb项⽬目负责⼈人 • Apache Member , IPMC, 多个Apache项⽬目 • RedHat, IONA, Travelsky 议题 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 微服务架构 • 微服务架构将⼀一个应⽤用分成多个相互独⽴立的服务。 • 好处是各个服务能够持续独⽴立的开发和部署。 commit() OK commit() OK • 提供强⼀一致保障 • 准备阶段完成资源操作 • 如果准备过程中出现问题，可以回滚 • 提交阶段不不允许出错 • 资源层⾯面提供保障业务侵⼊入性低 • 协议成本⾼高，并且存在全局锁的问题 ACID 与 BASE • ACID • 原⼦子性 （Atomicity） • ⼀一致性 （Consistency） • 隔离性 ( Isolation) • 持久性 (Durability) • BASE • 基本可⽤用（Basically Available） • 柔性状态 （Soft state） • 最终⼀一致性 （Eventually Consistent） （刚性事务） （柔性事务） https://queue.acm.org/detail.cfm?id=1394128 TCC • Try: 尝试执⾏行行业务

较低 更高 架构持续演进 困难 简单 沟通效率 低 高 技术栈选择 受限 灵活 可扩展性 受限 灵活 可重用性 低 高 实现业务复杂性分解难度 困难 容易 产品创新复杂度 困难 容易 一致性实现成本 低 高 时延 低 高 资源成本 低 高 关联查询复杂度 简单 复杂 远程调用 不涉及 涉及 服务治理 不涉及 涉及 对开发人员的要求 低 高 对工具的依赖 较低 较高 运维复杂度 运维复杂度 低 高 Huawei Confidential 4 微服务架构的第一大问题——如何拆分微服务？ •影响因素 >团队大小 >交付周期 >业务方向 >故障范围 >现有数据规模 >吞吐量 >一致性 >…… Huawei Confidential 5 拆分不好，可能带来的问题 •拆分不好，可能带来的问题 >服务数量爆炸，运维复杂 >服务数量太少，不够灵活 >一个user story影响众多服务 • 命令查询责任分离CQRS 现有做法 业务改造 投入大 + 应用上云 + IaaS 应用微服务改造 + PaaS 业务创新 如AI 拆表 拆界面及业务逻辑 微服务化改造典型流程 挑战：强业务相关， 必须业务+微服务专 家介入，投入大、时 间长； 关键技术：应用微服 务化改造工具套件 根据sql、日志、代码实现微服务拆分，并修改相关代码。 Huawei Confidential 7

求。 微服务的微 微服务的两个“谬论” n 服务之间是强隔离的。 n 微服务是大型系统的唯一选择。 解耦合 独立开发部署 架构、组织、流程 微服务架构定义“三步法” 微服务拆分方法 微服务拆分-指导原则 拆服务-单体重构的节奏 服务分解的四大障碍 1、网络延迟 2、同步通信降低了可用性 3、跨服务的数据一致性 4、上帝类 微服务的忠告 n 第一，要记住微服务不是解决所有问题的万能

服务契约 & OpenAPI SpringMVC JAX-RS RPC编程 REST通讯 XX通讯插件 RPC通讯 TCC XX事务 强事务 多语言 多编程框架 多通信协议 多事务一致性 Java 微服务 Go 微服务 XX语言 微服务 Spring微 服务 遗留 应用 微服务云服务： https://servicestage

由问题，更重要的是业务微服务上线乊后，需要提供实用和丰富 的在线治理能力  流量控制、幵发控制、超时控制、服务降级、服务熔断、路由权 重调整…  常用的服务治理能力要内置到服务框架中，业务领域强相关、非 通用能力可以通过扩展点实现 微服务框架技术选型-易集成  当前业务使用Spring MVC等传统的单体架构，希望可以较平滑、 低成本的迁移到微服务架构上：  从业务接受 绑定后端的服务调度线程，最大限度减少锁竞 争。采用连接池机制，重用已有的连接 CSE在消费者云业务的实践-分布式事务 1、服务化乊前本地事务： 2、服务化乊后引入分布式事务： 解决方案：CSE提供数据最终一致性方案-Saga CSE在消费者云业务的实践-服务治理能力 为什么需要服务治理：  随着业务的发展，服务越来越多，如何协调线上运行的各个 服务，保障服务的SLA，对服务架构和运维人员是一个很大

MVC/JAX-RS） Golang 编程 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio 降级，容错熔 断等服务治理功能 • Service Center • 基于Etcd高性能，高可用服务注册中心 • Saga • 微服务事务最终一致性问题解决方案 • 提供一个集中式的事务协调器，协调微服务之间的事务调用，保证事务最终一致性 https://github.com/apache?q=incubator-servicecomb ServiceComb Java Chassis的架构图 程 池 分布式服务调用追踪 • 支持标准的分布式调用追踪Zipkin V1,V2 • 支持通过@span扩展自定义调用追踪 分布式事务一致性问题 A B C commit rollback 分布式事务一致性问题 A B C Saga分布式事务一致性解决方案 Saga Coordinator Saga Saga Saga ID: x Saga Log Saga Started

• 服务足够小  • 独立运行  • 轻量级通信机制  • 独立的部署  • 去中心化 • 要多小？  • 怎么部署？  • 出错怎么办？  • 如何保证一致性 玩得起微服务的条件 持续改进的⾃自组织⽂文 快速响 Tall enough 服 务 ⾃自 演 进 2009年 2012年初探微服务 2014年⿊黑暗时代 2015年服务治理 导致整个提交流⽔水线堵塞，测 试⼈人员⽆无法拿到新的版本，交 付延期 4 团队出现冲突，架构腐化严重 交付不能完成导致各⾓角⾊色间的 冲突越来越严重，为了快速上 线质量遭到牺牲。架构⽆无⼈人守 护，各种不⼀一致性，服务内部 接⼝口⼀一⽚片混乱，核⼼心⼈人员离 职。 2014年问题倍出（⼆二） 不要再添加任何服务！ 当然不是！ 业务迅速扩张 技术选型灵活 助⼒力客户快速占领市场 那怎么办？ 2015年服务治理 导致整个提交流⽔水线堵塞，测 试⼈人员⽆无法拿到新的版本，交 付延期 4 团队出现冲突，架构腐化严重 交付不能完成导致各⾓角⾊色间的 冲突越来越严重，为了快速上 线质量遭到牺牲。架构⽆无⼈人守 护，各种不⼀一致性，服务内部 接⼝口⼀一⽚片混乱，核⼼心⼈人员离 职。 部署成功率很低，部署时经常 有⼀一堆环境修改需求，运维⼈人 员出错机会增加，运维效率极 低。 ⽆无法快速有效定位问题，⽆无法 快速有效知晓服务运⾏行状态，