servicecomb.apache.org github.com/apache?q=servicecomb 2019-6-24 朱小卫 NTTDATA 汽车行业数字营销平台微服务化实践 2 github.com/apache?q=servicecomb servicecomb.apache.org 朱小卫 NTTDATA中国上海分公司Digital Marketing部门开发经理 线上数字化布局 线下数字化布局 车联网及线下店端消费者旅程与线上消费 者旅程相结合，设计多种跨渠道跨屏互动， 引导进店消费者通过扫码，配车，留资等 行为整合线上数据 利用人脸识别等多种技术及平台，通过可 配置用户聚类评级模型和数据处理算法， 实现消费者深度洞察，提高销售线索质量 及转化率，助力经销商销售 新媒体营销数字化布局 从微信营销及小程序开始布局其他新兴媒体渠道，如抖 音 q=servicecomb servicecomb.apache.org 汽车数字营销平台总体架构 5 github.com/apache?q=servicecomb servicecomb.apache.org 汽车数字营销平台微服务化转型 打造集中化、标准化、智能化、便利化的汽车品牌数字营销平台  支持数字营销快速、多样、变化的业务场景，避免系统分散重复，将技术投资回报最大化。

同城双活的探索之路 • 未来的规划 大促的痛及混合云实践 业务服务层 资源层 分期乐 前端业务服务 桔子理财 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 风控审核 催收系统 政策管理 prod devops 监控系统 调用链路 日志系统 …… oa 人事系统 智能推荐 大数据 AI/BI …… 交易平台 电商 现金 信用卡 会员 桔子理财 风控平台 用户增长 发布系统 故障时，只影响内 部办公相关的公司 经营活动，不影响 用户下单交易 故障时，间接或部分影响用户 下单交易，但有降级方案来缓 冲、减少影响 美好的愿望 中心机房 registry 全站业务服务 data(r/w) web 核心交易平台 风控审核平台 data_proxy 单元机房 registry data(r) web data_proxy registry_sync 电商单元 核心交易平台 风控审核平台 残酷的现实 缺乏按用户维度的流量调度能力 LB Nginx-Proxy Nginx-Proxy

ServiceStage overall ServiceStage 微服务解决方案 容器云平台（CCE） Serverless云平台（CCI） 微服务咨询 现状分析 适用性评估 试点实施 效果评估 经验固化 目标设定 培 训 （ 理 论 、 案 例 、 实 战 演 练 ） 应用管理平台（CAS） 生命周期管理 部署/卸载 启动/停止 升级/回滚 灰度发布 弹性伸缩 q=servicecomb 围绕应用构建平台功能 • 操作的起点为应用 • 数据库，缓存服务，容器平台等围绕应用创建 应用 RDS DDM DMS DCS CCE ECS ELB 监控 软件中心 流水线 servicecomb.apache.org github.com/apache?q=servicecomb 缺少了什么 • 流水线，平台等自动化手段的完备，使得开发人员 开始思考业务功能的拆分，复用，使得网络拓扑更加复杂 • 从过去“数据中心网络拓扑几乎没变化”变为“应用发布，应对业务流量，随时随地的网络拓扑变化” • 平台功能解决了应用运行时之前的种种问题，但为了将应用的运行时统一治理，保障业务可靠运行，需要引入微服务框架 来解决分布式系统中的难题 9 github.com/apache?q=servicecomb servicecomb.apache

Mesh • 使⽤用Service Mesh快速构建微服务 • ⽣生态与扩展 • Service Mesh在华为内部的技术演进 第⼀一代：基于Nginx的微服务代理 • 2013年,微服务开发平台中的组 件，公司内部某电信业务 • 400多个微服务，800左右实例， 200多个数据中⼼心 Sidecar模式 • 基于容器的分布式系统设计模式 • 容器可以共享存储与⺴⽹网络的能⼒力 应⽤用程序容器 • 占⽤用资源⼩小（闲置10多M，并发运⾏行时30多M） • 简介 • 实现⼀一个Service Mesh • 使⽤用Service Mesh快速构建微服务 • ⽣生态与扩展 • 与PaaS平台结合 • Service Mesh在华为内部的技术演进 整体架构 Mesher Service Mesher Service Mesher Service Mesher Service Code—开发者⾃自⾏行选型 • 命令⾏行注⼊入⼯工具—Mesher开发团队定制 • 编排服务⾃自动注⼊入—最完整的产品体验 应⽤用与Mesher集成最佳实践 • 使⽤用容器,容器⺴⽹网络与编排调度平台 • 业务代码监听在本地端⼝口，并且不要暴露业 务服务端⼝口。使⽤用Mesher端⼝口对外提供服务 • 使⽤用SideCar部署模式 • 将服务提供者地址写在配置⽂文件中，在本地 ⾥里信息是http://x

Goal • 侵入式与非侵入式可结合使用 • 不绑定基础设施 • 服务可视化 • 高性能，轻量 • 尽最大可能插件化各功能模块 • 透明的产品体验：整合容器平台，微服务引擎，API 网关，指标监控，日志审计等云上服务，封装为微服 务平台，让用户感知不到背后的复杂 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter 24:8080 … Istio CSE Admin API • 独立监听端口 • 微服务健康 • mesher版本 • 路由信息 • Prometheus格式Metric数据 6/30/2018 透明的平台体验 • 部署容器应用时只需勾选以启用Mesher 6/30/2018 背后发生了什么？ • 为应用容器设置环境变量http_proxy • 为mesher设置CSE地址（注册中心， 配置中心） 布式架构 • 负责公司内部的楼宇设施管理，使用mesher改造后，帮 助客户将软件改造为SaaS服务，为更多企业提供服务 6/30/2018 最佳实践 • 结合容器，容器网络，编排调度平台，监控平台使用 • 业务代码只需监听在127.0.0.1.使用mesher对外提供服务 • 使用SideCar部署模式 • 将服务提供者地址写在配置文件中，在本地里信息是http://x.x.x.x:port

cIAKAcaD AssLes ü 分钟级准实时告警周期性检测 指标规则 ü e告警事i快速定o根源问题 ü 灵活方t的多级告警策略定义 ü 2AgeoF中央告警平台无缝集成 指标统计 调用链跟踪 ü 域T主机T服务A2I级别指标 展示 ü 每秒请求数 ü 响应时间 ü 请求失败率(4NN/5NN/osH faADed ü 异常发生率 ��Mercury��������� 03 基于KLbeIFeKes、(ocCeI打造云平台 0oah云平台总p架构 ���� CMDB ������� 镜x管理 ���� ���� ���� ������ ��� ���� ���� ������ ���� ���� Kubernets���� 云平台 存储 主机层 宿主机管理 网络 容器层 Docker

消费者云CSE微服务实践 李林锋 关于我  9年电信软件平台中间件开发、设计、架构经验  精通Netty、Mina等网络通信框架  华为软件 短信/彩信/WAP网关平台SGP、API开放集成网关API Fabric首席设计师  华为软件分布式服务框架DSF首席设计师  《Netty权威指南》、《分布式服务框架原理不实践》作者 微博、微信：Nettying 用Swagger OpenAPI规范，最终将微服务API规范化、标准化、在线化。系统从传统单体 应用的黑盒调用（本地Java方法调用）转变成透明的API契约调用  服务自治：通过在线的微服务治理结合云平台，可以实现微服务的弹性伸缩、故障自劢 迁移、降级熔断等，保障微服务的运行质量，提升业务SLA  建立服务化团队：随着业务的丌断拆分，大的研发团队也会被拆分成2-Pizza Team， 微服 仔细阅读了CSE的主要模块代码，包括网络通信、线程调度模型等，代码质量非常高， 对细节的把握比较好  选型试用时，大家对CSE的接受度比较高，使用CSE改造已有的Spring MVC代码相对较 容易些  华为内部的平台，无论是新需求接纳，还是技术支撑，各方面保障都比较给力  天生支持Docker容器不华为公有云，降低业务云化成本 CSE在消费者云业务的实践-API First API 接口 契约

:1?:-NS：命名服务 W S4/GEnR：服务治理m理 W :1?:-=P1：轻量级服务框架 W SDBnnEP：服务状态监控系统 W :1?:-PMPRBJ：一站式治理平台 W ABRR V :1?:服务调用统计 核心设计解析(%)：S4/GEnR V 服务治理m理 核心设计解析(%)：S4/GEnR V 逻辑架构 核心设计解析(&)：SDBnnEP 服务概要 • 提y者 • 消费者 注册中心 • 配置管理 • 服务分组 • 节点管理 • 服务鉴权 服务运营 :1?:-PMPRBJ 一站式服务治理平台 数据分析：多维度数据统计 服务治理实践(&) + 提升标准化-白银段t ����� �! • �������������������! • ��������������(�Node :1?:服务框架最大性能 • (核(4，%K数据包3DhM测试 • 原则：框架自身不造成应用瓶颈 服务治理实践(() +性能提升 - 铂金段t 系统化性能q化实践 V 一站式性能q化平台SDBJNEJ 流程化、自动化 零门槛、u成本 点击&次鼠标 6分钟出诊断报告 诊断对服务负面影响小，支持 b务高峰期使用 累计+ 诊断次数：数万 诊断服务数量：数千c

Network Physical Application Transport Network Physical Huawei Confidential 华为内部演进 - 2013年微服务开发平台中的IR组件 - 2015年 sidecar组件 5 Huawei Confidential 6 Mesher - Service Mesh理论的实现 - 基于go语言开发 - 接入ServiceComb等开源生态 CCE - Kubernetes - Docker - VM - Bare metal Huawei Confidential 8 注册发现 - 统一缓存模型 - 可灵活选择客户端注册发现，与平台注册 Registrator Service center Istio Kuberne tes Service Discovery Instance Cache Management Service Huawei Confidential Adaptor 11 ServiceComb Service Center架构演进 - 支持多注册中心 - 拥抱混合云架构 - 同时支持客户端自注册与平台注册 - 打通k8s与虚机等基础设施，可实现VM向容器平滑迁移 Service Center k8s adaptor etcdadaptor Service center adaptor

指导 规约 支撑 支撑 云平台 财政业务中台 财政云 ISV-A ISV-B ISV-C 供应商 交付 指导 规约 总账引擎 电子印章 报表 电子凭证 工作流 标准存储 数据交换 …… 财政微应用 预算 编制 指标 管理 …… 财务微应用 会计 核算 项目 库 …… 统一基础 数据规范 统一财政 业务数据 标准存储 统一应用 支撑平台 总账结构 统一纵向 层级交换 案例：助力某无人机企业打造智慧控制大脑 新功能上线 月 -> 天 弹性伸缩 秒级 AI 新生报到人脸识别 教务系统 科研系统 人事系统 … 独立烟囱 (12个) 云容器引擎，微服务引擎，EI服务 微服务公共组件 数据平台 教学 科研 人事 … 案例：助力某大学教学管理信息系统上云 应用市场 游戏中心 视频 阅读 音乐 天际通 生活服务 华为钱包 主题 HiBoard 智能家居 浏览器 华为消费者云服务 1