消费者云CSE微服务实践 李林锋 关于我  9年电信软件平台中间件开发、设计、架构经验  精通Netty、Mina等网络通信框架  华为软件 短信/彩信/WAP网关平台SGP、API开放集成网关API Fabric首席设计师  华为软件分布式服务框架DSF首席设计师  《Netty权威指南》、《分布式服务框架原理不实践》作者 微博、微信：Nettying 尽管现在以Java和GO语言为主，但是从架构演进角度考虑，未来 会根据消费者业务自身的特点引入更适合的语言  服务框架丌要绑定具体的语言实现，例如内部通信协议使用某种 语言特定的序列化机制、发布泛型、抽象接口等 微服务框架技术选型-灵活和轻量级架构  当前业务服务端都是非Web应用，所以丌需要运行在Web容器中， 需要类似Main函数可以直接拉起来的Standalone模式  服务框架  无论是华为内部的DSF，还是开源的Netflix、Spring Cloud等，都无法完全满足业务的 选型诉求，而CSE则能够很好的满足我们的需求  仔细阅读了CSE的主要模块代码，包括网络通信、线程调度模型等，代码质量非常高， 对细节的把握比较好  选型试用时，大家对CSE的接受度比较高，使用CSE改造已有的Spring MVC代码相对较 容易些  华为内部的平台，无

com/apache?q=servicecomb 缺少了什么 • 流水线，平台等自动化手段的完备，使得开发人员开始思考业务功能的拆分，复用，使得网络拓扑更加复杂 • 从过去“数据中心网络拓扑几乎没变化”变为“应用发布，应对业务流量，随时随地的网络拓扑变化” • 平台功能解决了应用运行时之前的种种问题，但为了将应用的运行时统一治理，保障业务可靠运行，需要引入微服务框架 来解决分布式系统中的难题 Cloud与ServiceComb等开源生态，使开发者能够无改造迁移上云 • 多语言解决方案：Java，Go两种语言框架与Service mesh方案 • 契约管理：自动生成API文档，并在中心管理，使集成更加流畅，约束接口不能任意变更 servicecomb.apache.org github.com/apache?q=servicecomb 引擎 把他们放在一起 微服务 微服务 微服务 DMS 发布订阅 浏览器 华为消费者云服务 6500万 应用市场日 活用户 4100万 日增照片 4.5亿+ 用户 举例：华为音 乐微服务改造 运营管理云服务 内容呈现云服务 用户呈现云服务 音乐媒资接口 媒资内容管理 内容转码 运营渠道管理 运营管理门户 内容呈现接入 内容搜索 内容推荐 产品呈现 活动呈现 用户呈现接入 音乐播放控制 订单 用户行为 用户社交 华为音

endpoints Endpoint RESTful Highway All ...... 微服务调用-consumer 透明RPC： 同步、异步声明，可以分开进行，也可以在同一个接口中声明 interface Schema { String hello(String name); } interface Schema { CompletableFuture AsyncResponse callback HttpServerFilters. beforeSendResponse Future complete Edge Service • 作为整个微服务系统对外的接口，向最终用户提供服务，接入RESTful请求，转发给内 部微服务 • 基于ServiceComb标准consumer流程转发请求到内部微服务，所有consumer治理能力， 不必独立开发，直接重用 izer先执行 – Meters Initializer: 实现TPS、时延、线程 池、jvm资源等等数据的统计 – Publisher: 输出统计结果，内置了日志输出， 以及通过RESTful接口输出 • Metrics-prometheus提供与prometheus对接的能力 spectator spectator -reg- servo foundation-metrics metrics-core

整业务模式快速配置，以最低成本适应弹性的数据需求。 • 主机厂/经销商、线上/线下线索管 理集中化 • 线索/会员/车主服务集中化 • 数据集中化 集中化 • 用户体验能力标准化 • 外部接口标准化 • 营销能力标准化、营销形式个性化 标准化 • 线索清洗评分智能化、智能分流 • 自动化个性精准营销 • 自动化投放追踪 • 营销内容自动分发 • 智能客服 智能化 • 移动端优先、用户体验优先 协同平台 价值体系 流程体系 第三方渠道 展会 数字 展厅 PC门户 企业微信 官网 短信 小程序 公众号 标准体系 标签体系 数据 中台 …… 存储服务 安全服务 接口网关服务 日志服务 网络服务 …… 短信服务 技术 中台 ……. 消费者互动数据 消费者账号 消费者基础信息 消费者交易数据 消费者服务数据 ….. 人 人车关系数据 车况数据 车辆维修保养数 据 第三层.CRM 业务微服务 第四层.CRM 业务数据 服务中心 配置中心 治理中心 IT运维 日志可视化 （华为云） CDN/ WAF 资源监控预警 （华为云 AOM） 营销平台 接口服务 消息 REST NAT网关 NAT gateway 4核8G 按需扩容 4核8G 按需扩容 Nginx 按需扩容 My SQL 高 可 用 安全组隔离 安全组隔离 安全组隔离

1. DNS 2. 客户端发现 1. ServiceCenter，eureka 2. etcd，zookeeper，consul 为什么实现自己的服务注册中心？ 1. 提供标准接口（RESTful） 2. 负载均衡，服务订阅（客户端LB，长连接） 3. 运行时依赖（Go） 4. 可靠性（BASE，最终一致性） 从服务注册中心到服务管理中心 1. 元数据 tolerance(分区容错性)，当出现网络分区故障时系统的容错能力 从微服务到服务管理中心 1.实例缓存机制 从微服务到服务管理中心 2.心跳保活机制 从服务管理中心到etcd 1.异步缓存机制 从服务管理中心到etcd 2.异步心跳机制 自我保护机制 前面提到的缓存机制，保证了ServiceCenter在etcd出现网络分区故障时依 然保持可读状态，Se 然保持可读状态，ServiceCenter的自我保护(Self-preservation)机制保证 了Provider端与ServiceCenter在出现网络分区故障时依然保持业务可用。 ServiceCenter在一个时间窗内监听到etcd有80%的实例下线事件，会立即 启劢自我保护机制。即使etcd存储的数据全部丢失，这种极端场景下， SDK与ServiceCenter之间可在不影响业务的前提下，做到数据自劢恢复。

与传统流程不同的是，所有功能都在 eventloop中执行，并不会进行线程切 换 p 橙色箭头走完后，对本线程的占用即完 成了，不会阻塞等待应答，该线程可以 处理其他任务 p 当收到远端应答后，由网络数据驱动开 始走红色箭头的应答流程 p 只要有任务，线程就不会停止，会一直 执行任务，可以充分利用cpu资源，也 不会产生多余的线程切换，去无谓地消 耗cpu。 压测数据 系统: Ubuntu 内存: 8GB 测试代码：https://github.com/GuoYL123/ReactiveBenchmark 调优后的压测数据 n 寻找拐点 n 调整consumer/producer参数（网络线程/业务线程等），提升处理能力 n 重新调整测试驱动压力（加大或减小），重复前面步骤 n 输出最终性能拐点时的各项参数，包括TPS/时延/CPU/带宽等等 Spring Cloud Gateway EdgeService 3 Callback hell 实践案例—华为消费者云 异步场景1：降低长流程/复杂业务流程时延 异步场景2：CPU资源使用率低、性能要求高 异步场景3：需要配置较长超时时间的接口 异步场景4：多个微服务级联调用 性能对比测试： 采用Reactive异步模式之后，TPS提升 43% 左右 时延降低 28% 左右，CPU占用降低 56% 左右 总结 n 根据业务场景选择，可同时使用；

github.com/apache?q=servicecomb servicecomb.apache.org 用户输入 第三方 输出 OpenAPI规范契约文件 契约与代码一致性校验报告 契约（接口）文档 异构微服务项目工程 （ServiceComb 或 SpringCloud） 遗留应用代码 (SpringMVC/POJO/JAX-RS) 契约文件 （符合OpenAPI规范） 用户交互 插件 契约提取 代码生成 文档制作 契约校验 ServiceComb SpringCloud …… ServiceComb toolkit 划分微服务 （含依赖关系） 定义契约 （接口和模型） 发布契约 ServiceComb 契约开发工具 开发微服务 测试微服务 客户+集成商 软件开发商 部署微服务 契约仓库 微服务 运行环 境 验收微服务 协同企业遗留系统微 服务架构设计，实现不同的微服务技术栈实现的微服务业务可以进行数 据通信，未来可支持跨云的数据通信支持。 •对应用程序透明。同步工具启停，不应该对应用程序的原有流程产生影响。 •为多服务中心提供对等网络。他们之间是松耦合的，成员可以自由加入与退出。 •对异构服务中心提供支持。插件化的形式支持多种服务中心驱动，用户可便捷的接入自定义插件。 gossip 协议 Syncer Syncer Syncer

•Alpha充当协调者的角色，主要负责对事务的 事件进行持久化存储以及协调子事务的状态，使 其最终得以与全局事务的状态保持一致，即保证 事务中的子事务全执行，或全不执行。 •Omega是用户程序侧代理，负责对网络请求 进行拦截并向Alpha上报事务事件，并在异常情 况下根据Alpha下发的指令执行相应的补偿或重 试操作。 Service A Omega Service B Omega Alpha Alpha •根据需要，后期会继续集成更多的组件 集成Spring Cloud组件 服务发现 •Spring Cloud通过@EnableDiscoveryClient来支 持服务发现 •需要实现DiscoveryClient接口，提供获取服 务实例的实现 •通过@Configuration来设置相关服务实例 •设置完DiscoveryClient后，可无缝集成到 Spring Cloud Zuul 加入我们 •

���� ���� ������ ��� ���� ���� ������ ���� ���� Kubernets���� 云平台 存储 主机层 宿主机管理 网络 容器层 Docker Docker Noah������Docker���� ���� kubernetes���� ������ 0oah容器云镜x存储h及分发 ��IDC� B1� VOS� IDC2� Harbor B� VOS� 1.����� 2.����� 3. ��� 4.��� 定制版的HaIboIQ开源镜xf库） (ocCeI 镜xf库接口 HaIboI UI V14QVI2 1bBecK 4KoIage） 海量S高可用的镜x存储 多机房分发 0oah容器云KLbeIFeKes容器编排 ���� •

支撑平台 总账结构 统一纵向 层级交换 机制 统一信息 安全体系 软件开发服务 ServiceStage 大数据服务 系统集成服务 IaaS（计算、存储、网络、安全） 中间件服务 标准与规范 应用全微服务化，接口标准由财政厅统一管控， ISV只需聚焦微服务交付，降低依赖性 统一业务模型和数据集成标准，系统无缝对接， 财政数据统一呈现，业务全盘管控 基于先进研发理念，标准化研发环境和工具，