EnvoyClient端不基于IPTable劫持 • Istio的设计很美好，但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部组件依赖。业务/运维总会有各种特殊的需求，依赖外部组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性，在我们的实践中好处大 于坏处胖客户端 proxy，应用无感知，能轻易实 现滚动升级 • 临时排查Local Proxy问题，可立马切走流量而不影响业务代码埋点 vs. Mixer • 性能考虑 • 调用链埋点的影响必须足够小 • 鉴权需要同步进行，调用Mixer代 价大 • Mixer的中央节点问题 • 传统基于日志收集的tracing方 案足够成熟 • 内部实现一套可插拔的鉴权框 架也能接受混合部署 vs. 绑定K8s • 历史原因导致长期都会物理机

构架SOFAMesh 1SOFAMosn 2SOFAMosn内数据流 3NET/IO 4 Ø屏蔽IO处理细节 Ø定义网络链接生命周期，事件机制 Ø定义可编程的网络模型，核心方法，监控指标 Ø定义可扩展的插件机制PROTOCOL 5 Ø定义编解码核心数据结构 üMesh处理三段式：Headers + Data + Trailers Ø定义协议Codec核心接口 ü编码：对请求数据进行编码并根据控制指令发送数据 Ø定义Stream层编/解码核心接口 ü 核心数据结构复用Protocol层 Ø定义可扩展的插件机制 Ø对于满足请求Stream池化的需求 Ø需处理上层传入的状态事件PROXY 7 Ø基于Stream抽象提供多协议转发能力 Ø执行Stream扩展Filters Ø提供可扩展的路由寻址能力 Ø提供可扩展的后端管理，负载均衡，健康检查能力 Ø维护上/下游核心指标转发流程 8 IO Read r data Log Writer Pool send encode Q u e u e C模块划分 11要点总结 12 Ø模块化，分层解耦 Ø统一的编程模型接口 Ø可扩展的事件驱动模型 Ø可扩展的路由/后端管理机制 Ø更好的吞吐量3 能力核心能力 1 网络处理 •网络编程接口 •链接管理 •事件机制 •Metrics 收集 •TCP 代理 •TLS 支持 •TProxy

业务线多、应用数量多、应用类型复杂 (有状态、无状态、多语言) • 基础环境复杂 • 大规模 在线、离线 混部 (运维打通) • 装机模板、OS版本、内核版本多；内核补丁、参数不同；其他如网卡中断打散 • 稳定性要求高 • 性能、宕机、夯机、抖动系统架构 • 基础监控 • 秒级、分钟级监控 • 内核性能指标采集 • 监控大盘 • 在线率 • 宕机率 • 抖动率 • 基线系统 • 基础环境一致性故障自愈 (1-5-10) (doc) 本盘数据不能 迁移运维实践 - 宕机率分析 • 宕机关联度分析 • 宕机趋势 • 机房、单元、分组 • 机型、硬件特征 • 内核版本、hotfix 一致率 • 宕机根因分析诊断 • 硬件故障、运维事件 • vmcore 归类分析 • 内核错误日志分析Machine Operator • 全生命周期 • 导入 • 下线 • 维护 • 组件终态 • 安装 • 升级 •

在 SDK 无法升级的情形下如何实现应用的 mesh 化 •没有人力修改 RPC-SDK，应用不想升级 1. Istio 通过 iptables NAT 表所使 用到的 nf_contrack 内核模块效率 低下 2. 与 AliOS 团队探索出了基于 userid 和 mark 标识流量的透明拦 截方案，基于 iptables 的 mangle 表实现了一个全新的透明拦截组件#2 短时间内支持电商业务复杂的服务治理功能

机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 高性能6/20 业务背景 业务诉求 • 运维成本  突发流量应用 | 机房 生命周期 • 运维效率  大规模下基础设施稳定性 • 业务 Mesh 化  精细化流量控制  基础组件升级 • 业务可复制  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 容灾切换和恢复 应急预案管理 … 分钟级容灾切换和恢复 全面变更风险管理 无限弹性可扩展 业务架构 产品层 云原生 PaaS 产品架构方案 7/209/20 二、多集群管控 多集群管控10/20 为什么要有集群联邦 • 异构屏蔽：  底层集群变化； • 统一管控：  业务弹性建站管控统一； • 可扩展：  多租硬隔离；  体量（单集群内节点数 1w+，Pod 10w+），集群数量多； Upgrade 机房A – 单元A • 精准分组，自定义拓扑 • IP不变，无损升级 • 可适配多种工作负载 • InPlaceSet • ReplicaSet • StatefulSet 可灰度： • 应用发布进程可控，允许灰度、 分组和 Beta 验证； 可回滚： • 随时暂停、回滚，任何变更有 据可查； 可监控： • 接入监控告警体系，全程保证 可观测性 partition:3 partition:5

· BeiJing 趋势 �6 微博Service Mesh实践 - WeiboMesh 微服务 1 容器器化 2 DevOps 3 云原⽣生 4 服务治理理与业务逻辑解耦，可持续交付跨语⾔言服务化⾯面临的问题 • 改造成本 • 服务治理理Service Mesh Meetup · BeiJing 改造成本 �8 微博Service Mesh实践 - WeiboMesh e Mesh Meetup · BeiJing 跨语⾔言服务化的本质 �10 微博Service Mesh实践 - WeiboMesh • 协议中⽴立/跨语⾔言 数据交互 • 全⾯面/灵活可扩展 服务治理理Service Mesh Meetup · BeiJing 跨语⾔言服务化⽅方式对⽐比 �11 微博Service Mesh实践 - WeiboMesh Http代理理 RPC模块 BeiJing Weibo Mesh 数据⾯面 �17 微博Service Mesh实践 - WeiboMesh ➢ Cluster（发现集群管理理，group + path） ➢ HA（⾼高可⽤用策略略） ➢ LB（负载均衡） ➢ Endpoint（服务节点的抽象） ➢ Protocol（Motan2/传输协议+Simple/序列列化协议）Service Mesh Meetup · BeiJing

Mesh 微服务架构设计 杨彪 美团点评高级架构师 2019.10.26 Service Mesh Meetup #7 成都站原蚂蚁金服专家，著有《分布式服务架构：原理、 设计与实战》和《可伸缩服务架构：框架与中间件》 两本书。有近10年互联网、游戏和支付相关的工作 经验，目前从事产业互联网。 杨彪，美团高级架构师1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service 微服务架构由一组小型的、独立自治的服务组成， 并且实现了业务中单个的完整业务功能。 • 服务和服务之间是独立的、低耦合的； • 每个服务都尽量小，小到一个小团队能够很好的维护它； • 服务可独立部署，每次部署不会影响其他服务； • 每个服务都各自负责自己的数据和状态的存储，独立数据库； • 服务和服务之间通过设计良好的API接口通信，不暴露具体的实 现细节； • 各服务不需要统一 微服务究竟带来什么好处 Ready for market faster：快速响应市场地变化 Mix of technologies：多技术栈混合使用； Scalability：可扩展性 Resiliency：可伸缩性 Agility：高效的团队协作，适合two-pizza rule团队；微服务带给我们的麻烦是什么 Complexity ：整体服务变多，维护比单一服务困难； Network

回馈社区，反哺开源 维持版本更新，同步升级 未来肯定会开源 可扩展和可定制化是必备的 可 控 性 社 区 支 持 技术输出 内部落地 如何让开源产品接受我们的改动？ 如何让社区和客户认可我们的产品？开源方案选择之第一代Service Mesh Linkerd • 无控制平面 • Scala编写，基于JVM资源消耗大 • 可扩展性有限，dtab不易理解和使用 • 功能不能满足蚂蚁的需求，没法做到

读取配置 -> 连接k8s/Galley • Adapter的运行时资源开销 • 不受Adapter增减/更新/升级影响 • 保持Proxy代码简单 • 保持Proxy代码简单 • 数据平面可替换原则 Kubernete s API Server Adapters ConfigurationsOut-of-process Adapter 7/39 Istio的新回答：架构继续优先，性能继续放一边 • 数据平面可替换原则 • 集中式服务： • 提高基础设施后端的可用性 • 为前提条件检查结果提供集群级别的全局2级缓存 • 灵活的适配器模型，使其以下操作变得简 单： • 运维添加、使用和删除适配器 • 开发人员创建新的适配器（超过20个适配器）合并没问题，如何合并才是问题 Part 2：ServiceMesh灵魂拷问二：性能有了，架构怎么办？Envoy在设计上是可扩展的 Part 上运行服务网格的规 范。它定义了由各种供应商实现的通用标准。这 使得最终用户的标准化和服务网格供应商的创新 可以两全其美。SMI 实现了灵活性和互操作 性。” “SMI API的目标是提供一组通用的，可移植的 Service Mesh API，Kubernetes用户可以以 供应商无关的方式使用这些API。通过这种方式， 可以定义使用Service Mesh技术的应用程序， 而无需紧密绑定到任何特定实现。”Linkerd

GoPlugin ScriptFilter File Istio xds rest api k8s configmap config file mobile openapi mgs15/21 可灰度 可回滚 可监控 蚂蚁金服「三板斧」 API Gateway Mesh 落地挑战 风险 运维 性能 功能 上线不是一件容易的事 Golang 历史债清理 sian->protobuf ead->goroutine