SOFAMOSN 持续演进路径及实践案例 陈逸凡 wugou.cyf@antfin.com 2019.1.6 Service Mesh Meetup #5 广州站Agenda Ø 背景 & 概览 Ø 持续演进路径 & 技术案例 Ø 实践案例 Ø 规划 & 展望 Ø QA背景 & 概览数据平面概览 SOFAMOSN • C实现，支持多语言扩展 • 基于Nginx扩展 • 开发不活跃 计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 & 技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1.1、 HTTP/2.0支持 Ø 进程平滑升级 Ø SOFAMesh集成，支持 xDS on ADS Ø X-Protocol协议扩展机制， 支持subset复杂匹配路由 Ø 无损平滑迁移 Ø ProtocolEngine协议扩展 机制 Ø 支持Router模式 Ø GRPC支持 Ø 协议自动识别 Ø 链式路由扩展 Ø 完善流量管理策略，包括 Retry、DirectResponse、 HTTP Header add/delete、 流控、故障注入等 Ø 支持必要的admin接口性能 0.1.0 0.2.0 0.3.0 0

金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Aliyun/OpenStack/VMWare/Bare Metal） PaaS 核心层 核 心 流 程 两地三中心架构 跨机房和地域统一应用运维 容器运行时 （Docker/Pouch/安全容器） (SLB/ALB) 容 器 层 跨集群管理 单元化能力 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配

蚂蚁金服 API Gateway Mesh 思考与实践 靳文祥（花名：贾岛） 蚂蚁金服 高级技术专家1/21 /01 /02 /03 API Gateway Mesh 的定义 蚂蚁金服 API Gateway Mesh 实践 云原生 API Gateway 的思考2/21 API Gateway Mesh 的定义 /013/21 LB\Ingress API Gateway Logic API Gateway Jar APP2 Logic Logic API Gateway JS Route 特点： • 干掉形式上的网关 • 轻路由前置到 LB • 业务集成网关 Jar • 业务之间互不干扰 • NodeJS 版 缺点： • 接入困难（几十个 jar 依赖） • Jar 包冲突 • 升级困难 • 版本离散 • NodeJS 版本维护成本高 核心系统上云12/21 蚂蚁金服 API Gateway Mesh 架构 数据流 控制流 Ops 流13/21 API Gateway Mesh Based on MOSN MOSN 能力与模块 MMTP Protocol HTTP\SOFARPC\Dubbo Gateway Filters Service Discovery Router14/21 API Gateway Core

Service Mesh 在『路口』的产品思考与实践 宋顺（齐天） 蚂蚁金服高级技术专家2/39 蚂蚁金服高级技术专家 2019年初加入蚂蚁金服，主要负责微服务、Service Mesh 相关 产品的研发工作 开源配置中心 Apollo 主要作者 https://github.com/ctripcorp/apollo 毕业于复旦大学软件工程系 曾就职于携程、大众点评，负责中间件、后台系统等研发工作3/39 微服务治理与业务逻辑解耦 Part 1： 为什么需要Service Mesh? Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 升级成本高 版本碎片化严重 中间件演进困难6/39 微服务治理与业务逻辑解耦 Sidecar （MOSN） + 服务发现 负载均衡 熔断限流 服务路由 …… - 专注业务实现 - 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 将SDK客户端 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能，

163yun.com 网易云Service Mesh的产品架构与实现 刘超 网易研究院云计算技术部首席架构师www.163yun.com 关于我 • 刘超 • 网易云 解决方案总架构师 • 10余年云计算领域研发及架构经验，先后在EMC，CCTV证券资 讯频道，HP，华为，网易从事云计算和大数据架构工作 • 毕业于上海交通大学。 • 曾出版《Lucene应用开发揭秘》 • 多 在工作中积累了大量运营商系统，互联网金融系统，电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes 网易云微服务框架介绍 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun.com 应用架构 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 上线独立: 单次上线需求列表多，上线时间长，影响面大 简化扩容: 由于业务多，每一次扩容需要增加的配置比较杂。一些不起眼的小业务虽然不是扩容的主要目 的，也需要慎重考虑 容灾降级:核心业务与非核心业务耦合，在关键时候互相影响 微服务拆分微服务架构要点 微服务架构 要点 服务发 现 负载均 衡 集群容 错 高可用 配置管 理 调度和 部署 伸缩性 集中化 日志

Meetup · BeiJing 趋势 �6 微博Service Mesh实践 - WeiboMesh 微服务 1 容器器化 2 DevOps 3 云原⽣生 4 服务治理理与业务逻辑解耦，可持续交付跨语⾔言服务化⾯面临的问题 • 改造成本 • 服务治理理Service Mesh Meetup · BeiJing 改造成本 �8 微博Service Mesh实践 - WeiboMesh BeiJing Service Mesh �12 微博Service Mesh实践 - WeiboMeshService Mesh Meetup · BeiJing Service Mesh与微服务的切分 �13 微博Service Mesh实践 - WeiboMesh Service A Service B Service C 微服务 Weibo MeshWeibo Mesh⽅方案介绍Service 语⾔言Service Mesh Meetup · BeiJing Weibo Mesh 数据⾯面 �17 微博Service Mesh实践 - WeiboMesh ➢ Cluster（发现集群管理理，group + path） ➢ HA（⾼高可⽤用策略略） ➢ LB（负载均衡） ➢ Endpoint（服务节点的抽象） ➢ Protocol（Motan2/传输协议+Simple/序列列化协议）Service

aware. 服务网格是一个基础设施层，用于处理服务间通信。云原生应用有着 复杂的服务拓 扑，服务网格负责在这些拓扑中实现请求的可靠传递。 在实践中，服务网格通常实 现为一组轻量级网络代理，它们与应用程 序一起部署，但对应用程序透明。什么是Service Mesh？- by Istio 服务发现 负载均衡 流量控制 ... 黑白名单 限流 ... 身份认证 通信加密 权限控制 ... Plane Programmable API APP ...... Data Plane Control Layer Application Layer通过Service Mesh控制面统一管理F5和Envoy https://aspenmesh.io/2019/03/expanding-service-mesh-without-envoy/ Control Plane Security Other business logic ... 提供七层网关能力， 但和服务网格是割裂 的 提供七层网关和网格 能力，但缺少API管 理能力 提供API管理能力， 缺少服务网格能力在DexMesh场景下Mesh和API Gateway的分工与协同 External request MSB API Gateway API Management Ingress Sidecar Service

周遥 xuanyin.zy@alibaba-inc.com 阿里巴巴核心应用落地 Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式；Nacos 无法升级的情形下如何实现应用的 mesh 化 •没有人力修改 RPC-SDK，应用不想升级 1. Istio 通过 iptables NAT 表所使 用到的 nf_contrack 内核模块效率 低下 2. 与 AliOS 团队探索出了基于 userid 和 mark 标识流量的透明拦 截方案，基于 iptables 的 mangle 表实现了一个全新的透明拦截组件#2 短时间内支持电商业务复杂的服务治理功能 •扩展 VirtualService 和 DestinationRule#3 短时间内支持电商业务复杂的服务治理功能 •未来计划在 Envoy 中增加 WebAssembly 路由插件#4 解耦业务与基础设施 •实现 Sidecar 热升级，流量无损切换 1. 迁移至新的 Listener Fd 2. 告之新的请求重启链路，继续处理 老的回调 3. 请求重新连接使用新的 Envoy 4

今天我们将展开更多细节，详细介绍蚂蚁金服Sofa Mesh的技术选型， 架构设计以及开源策略。 前言技术选型 Technical 1ü 性能要求 • 以蚂蚁金服的体量，性能不够好则难于接受 • 架构与性能之间的权衡和取舍需要谨慎考虑 ü 稳定性要求 • 以蚂蚁金服的标准，稳定性的要求自然是很高 • 高可用方面的要求很非常高 ü 部署的要求 • 需要用于多种场合：主站，金融云，外部客户 • Mesh，Sofa和社区主流开发框架 Service Mesh落地要面临的实际要求选择开源产品，还是选择自研？ 起点：开源 起点：自研 全新打造；或依托现有SDK Fork，增强，扩展，定制，集成 回馈社区，反哺开源 维持版本更新，同步升级 未来肯定会开源 可扩展和可定制化是必备的 可 控 性 社 区 支 持 技术输出 内部落地 如何让开源产品接受我们的改动？ 如何让社区和客 • Dogstatsd • Fluentd • Prometheus • Solarwinds • Stackdriver • Statsd • Stdio 同意视为基础设置， 甚至可能集成更多， 这里的抽象隔离是 我们认可的 但是这些？？更应该 视为基本能力，直接 做成Mesh内置功能 List backend Redis for Quota memquota List

化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 连接收编 All in 无线 03 PC时代 移动时代 万物互联云原生时代 2018 年协议，安全持续升 级（QUIC，MQTT，国密）， 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø 使用高效ECDSA签名算法的同 时，兼容广泛使用的RSA证书 按需握手 • 业务可根据需求灵活选择明文 或密文传输，提升业务效率 动态Record Size • 平衡吞吐与时延 高效 优化 灵活 TLS扩展安全合规能力持续升级 国密算法 • 拥抱监管 • 安全可控 • 金融科技 AntTLS库 • 基于OpenSSL • 全面拥抱TLS1.3 • 国密优化实现，国密单证书标准支撑 • 建连成功率 链路稳定性 链路一致性 RPC错误率 Push实时性 海外RTT 数据效率 快 速 稳 定 高 效 移动客户痛点 性能指标 线下支付 大促 国际支付咻一咻与敬业福咻一咻的挑战 亿级用户快速进入 亿级用户同时点击 剩余红包实时显示无线移动网络优化 § 统一通道：主长连接 + 短连接 § 统一协议：MTLS+MMTP § 统一调度：MobileDC