使⽤Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking 个⼈介绍 GitHub： https://github.com/wu-sheng Personal Homepage： https://wu-sheng

ServiceComb实践 案例 Agenda servicecomb.apache.org github.com/apache?q=servicecomb 面向开发者的数据中心演进 数据中心服务器虚拟化： Google，亚马逊等公司 以资源为中心： • AWS EC2，S3，Route53 • OpenStack • CloudStack • 混合云 以应用为中心： • Heroku 升级/回滚 灰度发布 弹性伸缩 微服务运维 应用告警 日志分析 全链路拓扑 SQL分析 调用链 立体监控 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 注册中心 配置中心 治理中心 全局事务 契约管理 监控大屏 智能分析 环境管理 开发环境 测试环境 预验证环境 灰度环境 生产环境 商业生态(aPaaS/SaaS) 商业生态(aPaaS/SaaS) 行业 （政府、教育、医疗、零售、……） 伙伴 （软通、中软、幸宜、博思、医 信、……） 工具（CPE） 设计和开发 构建 测试 发布上线 监控运维 部署 流 水 线 （ 持 续 集 成 、 持 续 交 付 ） 扩展插件： Eclipse等 扩展插件： 静态检查等 扩展插件： 三方部署系 统 扩展插件： 客户测试系 统 扩展插件： 客户自有仓

CRM静态站点 第二层.CRM 业务网关 第三层.CRM 业务微服务 第四层.CRM 业务数据 服务中心 配置中心 治理中心 IT运维 日志可视化 （华为云） CDN/ WAF 资源监控预警 （华为云 AOM） 营销平台 接口服务 消息 REST NAT网关 NAT gateway 4核8G 按需扩容 4核8G 按需扩容 Nginx 按需扩容 My SQL 高 可 Server (JAVA On-premise) 外部第3方线索提供商 DCC #1 DCC #N CRM API Gateway (华为云APIG服务) <协同平台> 协同平台 API服务器 协同平台 企业通讯簿 人员信息同步 10 github.com/apache?q=servicecomb servicecomb.apache.org 微服务效果分析 快速响应 业务需求

:-=P1：轻量级服务框架 W SDBnnEP：服务状态监控系统 W :1?:-PMPRBJ：一站式治理平台 W ABRR V :1?:服务调用统计 核心设计解析(%)：S4/GEnR V 服务治理m理 核心设计解析(%)：S4/GEnR V 逻辑架构 核心设计解析(&)：SDBnnEP - 服务状态监控系统 定t：中心化节点健康监测；负责监控/更新节点状态 q势：相对于点对点心跳， Ø 易用性q秀 服务治理演进各c阶段 服务治理实践(%)：基础能力达标 - 青铜段t 监控报警 数据分析 • 性能指标 • 来源去向 • f机分析 • 数据报表 • 调用链路 • 节点监控 • 性能监控 • b务监控 • 异常监控 • 服务注册 • 服务概要 • 提y者 • 消费者 注册中心 • �����! • OCTO-RPC�����������������������URL����! • ��Oncall��(����+������)! 服务治理实践(3) +易用性 V 细粒度埋点监控 Client� Server� :1?:服务框架最大性能 • (核(4，%K数据包3DhM测试 • 原则：框架自身不造成应用瓶颈 服务治理实践(() +性能提升 - 铂金段t

����� ����� ���� ���� ���� ����Proxy��� ��������� � ��������� ��� ���� ����� 全链路监控/eIcLIO功能d绍 ü 监控大盘快速展现系统问题 ü 秒级实时告警第一时间报告 cIAKAcaD AssLes ü 分钟级准实时告警周期性检测 指标规则 ü e告警事i快速定o根源问题 ü 拓扑s赖关系和性能指标 ü 调用链检索Q通过W务关键字） ü 慢调用查询 ü 失败调用查询Q4NNT5NN） ü 调用链详情展示 监控告警 全链路监控/eIcLIO核心jv 应用开发c员 I5运维T监控中心c员 应用管理c员 • 快速故障告警和问题定o • 把握应用性能和容量评n • 提r可追溯的性能数据 • 定o线U服务性能瓶颈 全链路监控/eIcLIO架构 Web FDLEe AgeFK 接y层 A22 数据源 CafCa 集 群 实时计算层 4HaIC 集 群 OpenTSDB� Elas-c Search� HBase� 数据存储层 数据服务层 (aKa 4eIMAce 数据消费层 准实时监控 (ashboaId 实时监控 其它应用

8 * 4 services 1 环境⼿手⼯工维护，频频出错 2014年问题倍出 部署成功率很低，部署时经常 有⼀一堆环境修改需求，运维⼈人 员出错机会增加，运维效率极 低。 2 缺乏有效监控 ⽆无法快速有效定位问题，⽆无法 快速有效知晓服务运⾏行状态， 服务资源浪费。 3 服务过⼤大，堵塞交付 快速增⻓长的结果导致服务过⼤大 或者服务过⼩小。⽽而过⼤大的服务 导致整个提交流⽔水线堵塞，测 � � � � DevOps 快速响应 只有这 些是不 够的 ful API Restful API ⾃自动 化部署 特性 团队 1 环境⼿手⼯工维护，频频出错 2 缺乏有效监控 3 服务过⼤大，堵塞交付 快速增⻓长的结果导致服务过⼤大 或者服务过⼩小。⽽而过⼤大的服务 导致整个提交流⽔水线堵塞，测 试⼈人员⽆无法拿到新的版本，交 付延期 4 团队出现冲突，架构腐化严重 基础设施⾃自动化 实施了新的部署流程，成功率 ⼤大⼤大提⾼高，部署时间缩短到 30分钟。 2 ⾼高效监控 服务提供状态汇报，利⽤用 Splunk聚合⽇日志，对服务运 ⾏行状态进⾏行监控，⼤大⼤大提⾼高运 维效率。 2.DevOps⼀一家亲 2012 2015 环境⼿手⼯工维护，频频出错 缺乏有效监控 3 服务过⼤大，堵塞交付 快速增⻓长的结果导致服务过⼤大 或者服务过⼩小。⽽而过⼤大的服务

Mesh的思考及在华为云 的实践 田晓亮 6/30/2018 9年软件⾏业经验，曾就职于三星，2012年进⼊云计算领域，对 PaaS， DevOps，APM有深⼊的研究和实践经验。⽅案⽀撑近 千台VM中应⽤部署管理监控 。华为云微服务引擎Mesher作者。 华为 架构师 田晓亮 website: http://servicecomb.incubator.apache.org/ gitter: https://gitter Design Goal • 侵入式与非侵入式可结合使用 • 不绑定基础设施 • 服务可视化 • 高性能，轻量 • 尽最大可能插件化各功能模块 • 透明的产品体验：整合容器平台，微服务引擎，API 网关，指标监控，日志审计等云上服务，封装为微服 务平台，让用户感知不到背后的复杂 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter 负载均衡 • 透明TLS传输 • 生成监控数据 6/30/2018 Mesher ServiceC Java SDK ServiceD Go SDK ServiceA Mesher ServiceB Control plane 可人工介入，未运行时 的mesher和侵入式框架 提供配置下发 • 注册中心 • 下发配置 • 监控服务 • 调用引擎 6/30/2018

交付流⽔水线与⼯工程实践 CaaS/PaaS IaaS 微 服 务 开 发 框 架 ⼯工 程 实 践 与 规 范 持 续 交 付 流 ⽔水 线 端 到 端 的 ⼯工 具 链 注册发现 监控 调⽤用链 路路由 授权认证 ⽇日志聚合 容错 集中配置 基础设施 业务层 - 聚合服务 - 基础服务 接⼊入层 • 流量量限制 • 调⽤用统计 • 安全认证 • 提供统⼀一接⼝口，封装内部变化 交付流⽔水线与⼯工程实践 CaaS/PaaS IaaS 微 服 务 开 发 框 架 ⼯工 程 实 践 与 规 范 持 续 交 付 流 ⽔水 线 端 到 端 的 ⼯工 具 链 注册发现 监控 调⽤用链 路路由 授权认证 ⽇日志聚合 熔断 集中配置 基础设施 接⼊入层 业务层 - 聚合服务 - 基础服务 • ⾯面向对象设计(名词/动词)
 • 可重⽤用的逻辑 交付流⽔水线与⼯工程实践 CaaS/PaaS IaaS 微 服 务 开 发 框 架 ⼯工 程 实 践 与 规 范 持 续 交 付 流 ⽔水 线 端 到 端 的 ⼯工 具 链 注册发现 监控 调⽤用链 路路由 授权认证 ⽇日志聚合 容错 集中配置 基础设施 接⼊入层 业务层 - 聚合服务 - 基础服务 注册发现 为什什么要注册发现 • 服务重启/升级后的IP地址变化

������ ������ ����� ������ ������ ������ ���� 11 N 如何定义服务 N 如何发布和订阅服务 N 如何治理服务 N 如何监控服务 N 如何定h故障 N ...... ��������� 12 ����� Registry! Client! Service! Monitor! • ��������������� ������������ ZooKeeper�������� ������� • ��������salus�� �http������ 75 �����Mercury���� ü 监控大盘快速展现系统问题 ü 秒级实时告警第一时间报告 criIicaB iHHJeH ü 分钟级y实时告警周期性检测指标规 则 ü a告警事d快速定h根源问题 ü 拓扑m赖v系和性能指标 ü 调用链检索O通过U务v键字P ü 慢调用查询 ü 失败调用查询O4LLQ5LLP ü 调用链详情展示 监控告警 76 �����Mercury���� 应用开发人员 I5运维Q监控W心人员 应用管理人员 • 快速故障告警和问题定h • 把握应用性能和容量评g • 提l可追溯的性能数据 • 定h线S服务性能瓶颈 •

ServiceComb的发展路路线图 • 如何加⼊入ServiceComb社区 微服务架构⾯面临的问题 • 分布式系统问题 • 服务注册发现 • 容错熔断机制 • 限流降级 • 运维相关问题 • 动态配置管理理 • 系统监控 • 路路由管理理 微服务框架与解决⽅方案 • 服务框架 • Service Mesh ServiceComb开源微服务解决⽅方案 ServiceComb微服务解决⽅方案 Java编程（POJO/ 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务⼀一致性 服务契约 平滑上云 拥抱开源⽣生态 处理理链 微服务脚⼿手架 服务安全 治理理UI ⾃自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking Zipkin Prometheus Dubbo ServiceMesh 2017年年8⽉月 2017年年10⽉月 2017年年9⽉月 2017年年12⽉月 ServiceComb 1.0.0-m2 新特性 • Java Chassis • 全⾯面⽀支持⽂文件上传与下载 • 监控指标模块优化 • 提供优雅下线功能 • 提供Maven Archetype创建⼯工程代码 • Service Center • 前端UI与服务中⼼心整合 • 优化微服务实例例统计信息 • Saga