微服务体系下的混合云&同城双活 实践探索 康彬（robinkang） 乐信/架构总监 康彬（robinkang） 乐信/架构总监 14年研发及管理经验，从0到1组建了乐信架构团队， 主导并推动了乐信集团业务系统从单体应用架构向微服 务架构的演变、从 php 技术栈向 java 技术栈的无缝转 型，从私有云向混合云的进化，及新一代的同城双活技 术架构的研发与落地工作 信用成长成就品质生活 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 消息消费 job调度系统 job元数据管理 job发布 job调度 配置中心 mq管理系统 调用链路 大促后机器闲置率高，资 源浪费巨大 混合云需求分析 机器资源按需 申请 01 接入层按url调 度流量 02 服务层set化的 路由策略 03 数据层读请求 上云，写请求 回自建idc 04 流量大户上云，顶住流量洪峰 机器器资源按需分配 接入层URL粒度流量调度 LB DNS app/browser Nginx-Proxy Nginx-Proxy 安全防护 自建IDC

DNS-F在数据 库场景的落地 名字服务在负 载均衡场景的 落地 DNS-F在微服 务场景的落地 应用层探活 数据库故障 恢复时间长 服务故障牵 引慢，流量 接入生效时 间长 DNS生效慢 内部服务无 就近接入能 力 服务性能下 降流量不摘 除 实 例 切 换 能 力 秒 级 流 量 牵 引 能 力 D N S 就 近 接 入 能 力 异 常 摘 除 能 力 dmx dns-f 华中IDC 华北IDC Nginx Nginx Nginx Web server 专线 背景 负载均衡变更需要更新配置发布后 才能生效，节点扩缩容，屏蔽操作 需要人工参与，流量接入接出时间 长 目标 流量接入接出时长低于30秒 负载均衡配置下发无状态改造 虎牙负载均衡部署的机器数百，配置下发的可靠性保障，一致性保障要求特别严格， 如果出现配置下发不及时，或下发配置失败，极大可能出现故障，同时负载均衡服 节点操作需要人工上系统操作增减 节点 配置中心监听方式 客户端主动监听配置更新，配置秒 级生效，新扩容服务主动拉取全量 配置，流量接入时长缩短3分钟+ 配置名字服务 配置IP方式 服务端下发文件更新配置，更新配 置生效时间长，由于需要预先知道 负责均衡集群的机器信息，扩缩容 需要等元信息同步以后才能接入流 量，扩容流量接入时间长 负载均衡节点对接名字服务 虎牙负载均衡部署的机器一台机器上可能存在数百的配置，每次节点生效需要重新

近三年专注于汽车整车的数字化转型解决方案 自我介绍 3 github.com/apache?q=servicecomb servicecomb.apache.org 聚焦汽车数字营销布局 线上传播速度快，流量大，利用活动投放，网站，电商等线上 渠道引流新用户，结合统一营销中心促进销售线索孵化 建立统一内容中心与统一数字资产中心，中央统一发布全渠道 内容及数字资产，形成企业数字资产沉淀，统一企业对外形象 营销能力标准化、营销形式个性化 标准化 • 线索清洗评分智能化、智能分流 • 自动化个性精准营销 • 自动化投放追踪 • 营销内容自动分发 • 智能客服 智能化 • 移动端优先、用户体验优先 • 易使用、培训便利化 • 管理多级可视化 • 系统易维护、易扩展开发 便利化 数字营销平台 6 github.com/apache?q=servicecomb servicecomb.apache.org 功能架构 线上渠道 库存物流数据 组织架构数据 活动渠道数据 …… 厂 营销中台 销售中台 内容管理 活动管理 …… 线索管理 客户管理 渠道管理 活动工具管理 公众号矩阵管理 标签管理 个性化推荐引擎 工单管理 线索管理 销售助手 权限管理 客服 中台 电话客服 在线客服 业务 分析 主数据管理 …… 用户行为分析 销售转化分析 活动分析 客服分析 …… 业务智能核心,C2B2C闭环持续优化

演 练 ） 应用管理平台（CAS） 生命周期管理 部署/卸载 启动/停止 升级/回滚 灰度发布 弹性伸缩 微服务运维 应用告警 日志分析 全链路拓扑 SQL分析 调用链 立体监控 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 注册中心 配置中心 治理中心 全局事务 契约管理 监控大屏 智能分析 智能分析 环境管理 开发环境 测试环境 预验证环境 灰度环境 生产环境 商业生态(aPaaS/SaaS) 行业 （政府、教育、医疗、零售、……） 伙伴 （软通、中软、幸宜、博思、医 信、……） 工具（CPE） 设计和开发 构建 测试 发布上线 监控运维 部署 流 水 线 （ 持 续 集 成 、 持 续 交 付 ） 扩展插件： Eclipse等 扩展插件： 静态检查等 开发者不需要知道应用部署到容器还是虚机中，只需要像过去一样开发应用 • Java，Go，Nodejs等语言可部署到ARM，x86不同的基础设施中 • 完善的自动化促使组织能够管理大规模，快速的部署应用实例，应对业务流量，需求的变化 源码 软件中心 流水线 构建 归档 部署 配置中心 java python go nodejs php war jar 压缩包 二进制 Docker镜像

tes Service Discovery Instance Cache Management Service center Huawei Confidential 9 基于微服务元数据的路由管理 • 匹配请求者header • 匹配请求者元数据信息 • 按权重引流 • Router使用统一配置模型，支持插件对接不同生态 请求特征： • Service Name • Headers 1版本，你希望只让一部 分用户进行体验，那么你可 以定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service 华为ServiceMesh 华为云数据库 作业 人员 系统维护 作业 人员 系统维护 楼宇内各空间位置信标及资产标签 楼宇内各空间位置信标及资产标 签 3G/4G 服务台 管理者 管理者 楼宇1 楼宇n 高级管理 系统维护 华为云存储 Huawei Confidential 17 Huawei Confidential 18 Atlas UPredict Service Region

Mesh的思考及在华为云 的实践 田晓亮 6/30/2018 9年软件⾏业经验，曾就职于三星，2012年进⼊云计算领域，对 PaaS， DevOps，APM有深⼊的研究和实践经验。⽅案⽀撑近 千台VM中应⽤部署管理监控 。华为云微服务引擎Mesher作者。 华为 架构师 田晓亮 website: http://servicecomb.incubator.apache.org/ gitter: https://gitter Kubern etes Consul Eureka Service Discovery Instance Cache Management Service center 基于微服务元数据的路由管理 • 匹配请求者header • 匹配请求者元数据信息 • 按权重引流 • Router使用统一配置模型，支持插件对接不 同生态 6/30/2018 Request 请求特征： • Service 1版本，你希望只让一部分 用户进行体验，那么你可以 定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service

Architecture Conference 2017.4 https://www.continuousdelivery.com/ • 缩短交付周期 • 降低发布⻛风险 • 质量量内嵌 组织协同 环境管理理 数据管理理 松耦合架构 反馈验证 持续集成/部署 内建质量量 微服务架构是松耦合架构机制的⼀一种实现 为什什么基于DevOps？ ● Communication ● Automation ⽔水 线 端 到 端 的 ⼯工 具 链 注册发现 监控 调⽤用链 路路由 授权认证 ⽇日志聚合 容错 集中配置 基础设施 业务层 - 聚合服务 - 基础服务 接⼊入层 • 流量量限制 • 调⽤用统计 • 安全认证 • 提供统⼀一接⼝口，封装内部变化 • 协议转换 API⽹网关 微服务⽣生态系统 API⽹网关/Edge Service ⽀支撑层 基础设施 交付流⽔水线与⼯工程实践 ⽔水平伸缩后服务的实例例数量量变化 • 同⼀一个结点运⾏行行多个服务(端⼝口不不同) 集中配置管理理 配置信息的管理理 50 • 与服务在同⼀一个包中 • 使⽤用隔离的配置⽂文件 • 使⽤用环境变量量管理理 配置信息管理理的挑战 51 • 动态更更新配置信息 • 多实例例间的同步 • 配置信息的版本管理理 容错(Resilient) 52 • 降级 - 关闭⾮非核⼼心业务，保证核⼼心业务可⽤用

• 节点监控 • 性能监控 • b务监控 • 异常监控 • 服务注册 • 服务概要 • 提y者 • 消费者 注册中心 • 配置管理 • 服务分组 • 节点管理 • 服务鉴权 服务运营 :1?:-PMPRBJ 一站式服务治理平台 数据分析：多维度数据统计 服务治理实践(&) + 提升标准化-白银段t ����� 服务治理实践()) + 服务保障v系 - 钻石段t ������! 2.�� ��! 3.�� ��! 4.�� ��! 5.�� ��� ��! 6.�� ���! 1.�� ��! 链路级流量隔离 • 全链路灰度发布 • 全链路压测 • 全链路故障演练 服务治理实践(6)-星耀段t+ 异地容灾 扩展 回顾：服务治理系统的三项必备能力 % 标准化 & 易用性

����������Client� Service��� • Registry����������� ��������������� 16 ���� N 灰度发布 N A/B测试 N 流量控制 N 机房选择 N ...... # app1�������������20880����� # app2�������������20881����� --- scope: 调用链检索O通过U务v键字P ü 慢调用查询 ü 失败调用查询O4LLQ5LLP ü 调用链详情展示 监控告警 76 �����Mercury���� 应用开发人员 I5运维Q监控W心人员 应用管理人员 • 快速故障告警和问题定h • 把握应用性能和容量评g • 提l可追溯的性能数据 • 定h线S服务性能瓶颈 • 持续e化b码和43. • 帮助快速解x线S问题 • t方h把握应用整i拓扑结构

的流控阈值修改等 微服务框架技术选型-服务治理能力  服务框架丌能只单单解决分布式RPC调用、服务注册&发现和路 由问题，更重要的是业务微服务上线乊后，需要提供实用和丰富 的在线治理能力  流量控制、幵发控制、超时控制、服务降级、服务熔断、路由权 重调整…  常用的服务治理能力要内置到服务框架中，业务领域强相关、非 通用能力可以通过扩展点实现 微服务框架技术选型-易集成  为什么需要服务治理：  随着业务的发展，服务越来越多，如何协调线上运行的各个 服务，保障服务的SLA，对服务架构和运维人员是一个很大 的挑戓  线上业务发生故障时，需要对故障业务做服务降级、流量控 制、流量迁移等，快速恢复业务  随着开发团队的丌断扩大，服务的上线越来越随意，上线容 易下线难，为了规范服务的上线和下线，在服务发布前，需 要走服务预发布流程，由架构师戒者项目经理对需要上线的