和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 Saga transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

9 基于微服务元数据的路由管理 • 匹配请求者header • 匹配请求者元数据信息 • 按权重引流 • Router使用统一配置模型，支持插件对接不同生态 请求特征： • Service Name • Headers • Consumer metadata Resolve 决定要访问的服务名后即可开 始匹配路由规则，比如 • 系统中稳定运行着A服务， 版本是1.0，最近新上线了 0，最近新上线了 1.1版本，你希望只让一部 分用户进行体验，那么你可 以定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Bare metal CCE ServiceStage API gateway Governance server Huawei Confidential 拥抱Istio生态 - 为Istio数据面提供新的可能性和选择，使用mesher替代Envoy。 - 并将go chassis接入到Istio，为istio提供侵入式框架 - 不使用Iptables转发 - 不接入Mixer服务，而是直接接入不同生态系统

运⾏行行模型 围绕服务契约进⾏行行开发以及运维 异步化⽀支持 • 基于Vertx提供的异步内核 • 保持⾼高性能的同时⽀支持同步调⽤用⽅方式 • 将通信线程与业务处理理线程分离 • 操作级别线程池控制，⽀支持隔离仓 • ⽀支持多种异步编程接⼝口 • CompletableFuture • RxJava • Reactive Stream • ……. Process Event-Loop aleanjourney.com/2016/05/5-steps-for-creating-lean-roadmap.html ServiceComb历史版本 Service Center Java Chassis 0.1.0 正式开源版本 Service Center Java Chassis 0.2.0 加⼊入Zuul⽀支持, Spring Boot starter 服务中⼼心优化 ⽀支持 Spring Boot 2.0 ⽀支持 脚⼿手架应⽤用示例例 服务中⼼心 多数据中⼼心⽀支持 契约测试 微服务管理理控制 开源配置中⼼心 对接多监控系统 Service Mesh 多语⾔言微服务⽀支持 监控管理理对接 多协议对接 微服务事务协调器器 服务端⾼高可⽤用 管理理控制台 TCC事务协调 如何加⼊入到ServiceComb社区 • 线上 • 关注ServiceComb微信⼩小助⼿手，

配置 跟踪 … 运行模型 围绕服务契约进行开发以及运维 异步化支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程与业务处理线程分离 • 操作级别线程池控制，支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream • ……. Process Event-Loop Process aleanjourney.com/2016/05/5-steps-for-creating-lean-roadmap.html ServiceComb历史版本 Service Center Java Chassis 0.1.0 正式开源版本 Service Center Java Chassis 0.2.0 加入Zuul支持, Spring Boot starter 服务中心优化 CompletableFuture 生态支持 Java 9支持 Spring Boot 2.0 支持 脚手架应用示例 服务中心 多数据中心支持 契约测试 微服务管理控制 开源配置中心 对接多监控系统 Service Mesh 多语言微服务支持 监控管理对接 微服务事务协调器 服务端高可用 管理控制台 同步异步事件支持 如何加入到ServiceComb社区 • 线上 • 关注ServiceComb微信小助手，

虎牙基础保障部中间件团队负责人 2019.8.11 Service Mesh Meetup #6 广州站 微服务改造事项 DNS-F在数据 库场景的落地 名字服务在负 载均衡场景的 落地 DNS-F在微服 务场景的落地 应用层探活 数据库故障 恢复时间长 服务故障牵 引慢，流量 接入生效时 间长 DNS生效慢 内部服务无 就近接入能 力 服务性能下 降流量不摘 除 实 接 入 能 力 异 常 摘 除 能 力 dmx dns-f app nacos M S write read DNS-F在数据库场景的落地 背景 在数据库服务切换时效率低，依赖 业务方修改配置，时效不确定，通 常需要10分钟以上； 目标 数据库切换秒级生效； 技术特点-DNS-F M S S S M1.mysql S1.mysql S2.mysql S3.mysql 健康检查模式/方式 支持服务端/客户端/关闭检查模式，检查方式有 tcp、http、sql。支持自己构建健康检查器 客户端向服务端发送http心跳 负载均衡 支持 支持 手动上下线服务方式 通过控制台页面和API 通过调用API 跨中心同步 支持 不支持 k8s集成 支持 不支持 分组 Nacos可用根据业务和环境进行分组管理 不支持 权重 Nacos默认提供权重设置功能，调整承载流量压

微服务框架技术选型-服务治理能力  服务框架丌能只单单解决分布式RPC调用、服务注册&发现和路 由问题，更重要的是业务微服务上线乊后，需要提供实用和丰富 的在线治理能力  流量控制、幵发控制、超时控制、服务降级、服务熔断、路由权 重调整…  常用的服务治理能力要内置到服务框架中，业务领域强相关、非 通用能力可以通过扩展点实现 微服务框架技术选型-易集成  当前业务使用Spring  微服务框架采用的技术应该是经过验证、业界主流的技术，例如网 络传输采用Netty  微服务框架本身要成熟，经过丌同业务、较长时间的验证，商用发 布的特性要稳定  无论是社区开源版本，还是购买的商用软件，戒者自己构建，技术 支持和保障一定要到位 微服务框架技术选型-结果  为什么业务最终选择CSE作为微服务框架？  无论是华为内部的DSF，还是开源的Netflix、Spring 绑定后端的服务调度线程，最大限度减少锁竞 争。采用连接池机制，重用已有的连接 CSE在消费者云业务的实践-分布式事务 1、服务化乊前本地事务： 2、服务化乊后引入分布式事务： 解决方案：CSE提供数据最终一致性方案-Saga CSE在消费者云业务的实践-服务治理能力 为什么需要服务治理：  随着业务的发展，服务越来越多，如何协调线上运行的各个 服务，保障服务的SLA，对服务架构和运维人员是一个很大

• Java/Go 微服务框架 • 提供微服务注册发现以及限流降级，容错熔断等治理功能 • Service Center • 高性能，高可用服务注册中心 • Saga • 微服务数据一致性问题解决方案 • 提供一个集中式的事务协调器，协调微服务乊间的事务，保证事务最终一致性 2018 Building Microservice NO.1 深圳站： Cloud Native Native 架构下的 K8S 和微服务实践 异步性能支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程不业务处理线程分离 • 操作级别线程池控制，支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream • ……. Process Event-Loop NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 微服务数据一致性问题 A B C commit rollback 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 微服务数据一致性问题 A B C 2018 Building Microservice

决策子项目 需求和方向 负责整体孵化项 目决策及投票 提议Committer 候选人及孵化器 候选项目 管理与监督基金会 商务与日常事务 • 涉猎领域  人工智能AI  IoT  大数据  金融管理  区块链  …… • 未涉猎领域  机器人  自动驾驶  星际探索  也有可能是你的项目 • 注册在美国的非盈利组织 • 提供法律和基础设施的支持 • Non- affiliation Respect for fellow develope rs 根据个人贡献获得价值, government by merit 多样化的社区，防止单一公司的控制，鼓励 协同开发 “community over code” 决策透明公开：讨论，决定和存档均基于 mailing list 商业友好的开源许可证， Apache项目使用 permissive license的Apache https://github.com/apache?q=servicecomb ServiceComb 全球首个Apache微服务顶级项目  进入Apache基金会近两年时间，共孵化11个项目，累计发布20+软件版本，社区净增代码59.4万+行，变更代码 330万+行，共接收6800+个提交，2400+个PR，由来自Redhat、Syswin、Hyperpilot、腾讯、oneAPM、京东、 长虹、人保、用

50+ 正在孵化的项目 • 组织前身是 1996年成立的 Apache Group • ASF成立于 1999年 Apache软件基金会 涉猎领域 • 人工智能AI • IoT • 大数据 • 金融管理 • 区块链 • …… 未涉猎领域 • 机器人 • 自动驾驶 • 星际探索 • 也有可能是你的项目 [社区网站] http://servicecomb.apache.org Non- affiliation Respect for fellow develope rs 根据个人贡献获得价值, government by merit 多样化的社区，防止单一公司的控制，鼓励 协同开发 “community over code” 决策透明公开：讨论，决定和存档均基于 mailing list 商业友好的开源许可证， Apache项目使用 permissive license的Apache [Github ] https://github.com/apache?q=servicecomb 提交issue报告 • 善用Github issue • 检索是否有类似的错误 • 详细描述软件的版本和使用环境 • 描述错误详细内容 • 给出测试用例 • 登录到JIRA 或者其他的Bug管理 工具提交报告或者补丁 https://github.com/apache/servicecom

运维人员替换 部 署 旧 版 本 开发 开发 测试/发布 • 技术实现单一，需要想办法用一种技术解决所有问题 • 只能按大颗粒系统发布版本，响应周期长 （小特性版本3-6个月，每年1个大版本） • 无法做到永远在线，大版本升级时，要停机中断服务 微服务化的应用构建和发布 产品发布计划 产品发布计划 产品发布计划 产品发布计划 开发 部署到生成 部署到生成 环境 部署到生成 环境 开发 开发 bugs 旧版本持续运行 Speed & Safety 面临的问题 • 企业应用和互联网应用的不同？ • 如何做到不同ISV的应用互联互通统一管理？ • 怎么才能加快微服务的开发？ • 微服务化后如何保证性能？ • 如何进行统一的路由控制？ 企业应用和集成 Java 注册中心、治理中心 Go 服务