蚂蚁金服网络代理演进之路 肖涵（涵畅） 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 高效接入 访问加速 容量 稳定性 高可用 灵活弹性 安全合规 防攻击蚂蚁金服网络接入十年变迁 2010年前部署商用设备 前世 01 2010 开始网络代理白盒 化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 连接收编 年协议，安全持续升 级（QUIC，MQTT，国密）， 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF，XDP Ø 可编程交换芯片（P4语言） Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理

金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 用户安全 – 基于 RBAC 体系和 PaaS 账号体系打通； • 租户安全 – 租户隔离|环境隔离|集群隔离； • 容器运行时 - 配额|隔离控制（磁盘，CPUSET）； 发布运维体系18/20 技术风险保障 业务变更三板斧 发布运维体系 Replica/Partition Allocator Pod A-1 Pod A-2 Pod A-3 Pod A-4 Pod A-5 Beta 据可查； 可监控： • 接入监控告警体系，全程保证 可观测性 partition:3 partition:5 InPlaceSetControlle r replica:519/20 技术风险管控 Operator变更三板斧 发布运维体系 可灰度： • Controller 发布避免 0-1； 可回滚： • 回滚到基线版本； • 快速止血，停止新版本调和； 可监控： •

蚂蚁金服 API Gateway Mesh 思考与实践 靳文祥（花名：贾岛） 蚂蚁金服 高级技术专家1/21 /01 /02 /03 API Gateway Mesh 的定义 蚂蚁金服 API Gateway Mesh 实践 云原生 API Gateway 的思考2/21 API Gateway Mesh 的定义 /013/21 LB\Ingress API Gateway 核心系统上云12/21 蚂蚁金服 API Gateway Mesh 架构 数据流 控制流 Ops 流13/21 API Gateway Mesh Based on MOSN MOSN 能力与模块 MMTP Protocol HTTP\SOFARPC\Dubbo Gateway Filters Service Discovery Router14/21 API Gateway Core

Service Mesh 在『路口』的产品思考与实践 宋顺（齐天） 蚂蚁金服高级技术专家2/39 蚂蚁金服高级技术专家 2019年初加入蚂蚁金服，主要负责微服务、Service Mesh 相关 产品的研发工作 开源配置中心 Apollo 主要作者 https://github.com/ctripcorp/apollo 毕业于复旦大学软件工程系 曾就职于携程、大众点评，负责中间件、后台系统等研发工作3/39 微服务治理与业务逻辑解耦 Part 1： 为什么需要Service Mesh? Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 升级成本高 版本碎片化严重 中间件演进困难6/39 微服务治理与业务逻辑解耦 Sidecar （MOSN） + 服务发现 负载均衡 熔断限流 服务路由 …… - 专注业务实现 - 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 将SDK客户端 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能，

Mesh的产品架构与实现 刘超 网易研究院云计算技术部首席架构师www.163yun.com 关于我 • 刘超 • 网易云 解决方案总架构师 • 10余年云计算领域研发及架构经验，先后在EMC，CCTV证券资 讯频道，HP，华为，网易从事云计算和大数据架构工作 • 毕业于上海交通大学。 • 曾出版《Lucene应用开发揭秘》 • 多次作为邀请讲师参加Dockone容器技术大会，Segmentfault WOTA大会等 • 知名技术博主，博客可搜索popsuper1982，多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统，互联网金融系统，电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes 网易云微服务框架介绍 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 快速迭代 高并发 OPEX CAPEX 大数据分析，运营 容器技术的三种视角微服务形态 Hailo Amazon Netflix 来源: https://www.linkedin.com/pulse/astonishingly-underappreciated

持续演进路径及实践案例 陈逸凡 wugou.cyf@antfin.com 2019.1.6 Service Mesh Meetup #5 广州站Agenda Ø 背景 & 概览 Ø 持续演进路径 & 技术案例 Ø 实践案例 Ø 规划 & 展望 Ø QA背景 & 概览数据平面概览 SOFAMOSN • C实现，支持多语言扩展 • 基于Nginx扩展 • 开发不活跃 • 老牌代理系统，业界广 泛使用，服务各类场景 4.0 • 蚂蚁+UC主导，重点搭载 SOFAMesh使用，目标服 务通用场景，金融场景SOFAMOSNSOFAMOSN内部模块设计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 & 技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1 metrics技术案例 – 协议自动识别 TLS链接 核心实现思路： Ø TLS通过ALPN来识别。 Ø TLS不带ALPN或者明文，通过预读首部字段识别。 ALPN扩展 预读字段 是 否 获取ALPN协商 所得协议 有 无 遍历所有协议 实现，执行 ProtocolMatch 返回AGAIN 匹配成功，获 取对应协议 无法识别协议， 断开链接 继续读取数据技术案例 – HTTP/2

云原生开放智能网络代理 MOSN 金融级云原生架构助推器 肖涵（涵畅） 蚂蚁金服高级技术专家 SOFAMosn 项目负责人1/10 MOSN，云原生时代的安全网络代理 Service Mesh 控制面 Galley Pilot Pod SOFA 服务 MSON Kubernetes TLS，国密 服务鉴权 Mirror Ingress Controller Pod Msg 多种服务注册中心 SOFA Registry Nacos Etcd ZooKeeper 多协议接入 TLS，国密 WAF，DDos2/10 MOSN 核心能力沉淀  精细化路由  安全防护  多协议  可运维  可扩展 • 多版本发布 • 压测引流 • 服务分组 • 加密链路 • 国密算法 • 服务鉴权 • TCP、Http、SOFA • 透明劫持 • 平滑升级 • Service Mesh 技术选型以及接入层变革 的思考 2018年春节 第一行代码 2018年5月 以 SOFAMosn 项目名开源 2018年11月 内部正式启动落地 Service Mesh 2019年4月 落地第一个应用 2019年618 核心支付链路灰度 2019年双十一 核心支付链路全覆盖5/10 开放是手段，不是目的 加拉帕戈斯综合征 水族馆与大自然的杀人鲸 德尔菲法6/10

周遥 xuanyin.zy@alibaba-inc.com 阿里巴巴核心应用落地 Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式；Nacos K8s•未来应用开发一定是 云原生 •考验好产品的标准是 云原生 •经济、技术共同体是 愿景 机遇 •基于 Service Mesh 基础面开发 •是否能很好的支持 Service Mesh •使用 Service Mesh 打通技术鸿沟三位一体，构建经济共同体 技术社区 内部支撑 商业赋能 技术输入 反哺增强 标准化生产 场景验证#2 阿里巴巴在落地 Service 无法升级的情形下如何实现应用的 mesh 化 •没有人力修改 RPC-SDK，应用不想升级 1. Istio 通过 iptables NAT 表所使 用到的 nf_contrack 内核模块效率 低下 2. 与 AliOS 团队探索出了基于 userid 和 mark 标识流量的透明拦 截方案，基于 iptables 的 mangle 表实现了一个全新的透明拦截组件#2 短时间内支持电商业务复杂的服务治理功能

证书管理流程 在 Kubernetes 场景下，证书是通过 secret 的方式来管理，使用时通过 secret mount 以 Volume 形式挂载。 存在以下三个问题：  Secret 管理方式与现有密钥管理系统有冲突，需要密钥管理系统强依赖 Kubernetes  Secret 以明文形式挂载在容器的文件系统中，存在安全隐患  Secret 更新时，Sidecar 需要通过热重启方式重新加载，成本高昂基于 能力实现证书动态轮转。 当然，Sidecar 和 SDS Server 的通信也需要保证自身的通信安全，存在以下两种方案：  Sidecar 与 SDS Server 采用 mTLS 通信，采用静态证书方案，通过 Secret Mount 方式获取通信证书  Sidecar 与 SDS Server 采用 UDS 方式实现纯内存通信，不需要使用证书。基于 Secret Discovery Service Sidecar 中增加一个安全 Sidecar，以API接口的形式为APP及其他Sidecar 提供基础的身 份颁发、身份验证功能  解耦应用的业务逻辑与认证授权逻辑，减少开发量；  提供密码学安全的认证授权逻辑，提高安全性；  全网统一的认证授权方式，去凭证，减少攻击面；  为每个应用建立唯一的全局应用身份标识，提供服务调用全链路溯源能力，及可问责能 力（accountability）。使用可信身份服务构建敏感数据下发通道

三块内容： - Service Mesh产品动态 - Service Mesh发展趋势 - Service Mesh与云原生 今天的内容可以视为是上次演讲部分内容的深度展开，如社区 关心的Mixer v2，以及我个人看到的一些业界新的技术方向， 如web assembly技术，还有产品形态上的创新，如google traffic director对servicemesh的虚拟机形态的创新支持。 现 (Envoy SDS) • 复杂性 • Mixer使用一组称为模板的核心抽象，来描述传递给适配器的数据。 这些包括“metrics”，“logentry”，“tracepan”等。这些抽 象与后端想要消费的数据不匹配，导致运维需要编写一些手动配置， 以便在规范的 Istio 样式和后端特定的样式之间进行映射。原本期望 这种映射可以在适配器中实现很大程度上的自动化，但是最终还是 太复杂并需要手动配置。如果要性能，该怎么做？ ● Stats sink 扩展方式： ● C++ ● Lua(目前仅限于HTTP Traffic) ● Go extensions (beta, for Cilium)Envoy最新的扩展方式：Web Assembly Part 2：ServiceMesh灵魂拷问二：性能有了，架构怎么办？ - Support WebAssembly (WASM) in Envoy - https://github