进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host, path, headers, SSL, …） • Services 将请求转发给你的应用（load balancing, …）

SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用 可以无需关注分布式架构带来的通信相关问题，而专注于其业务价值。 流量控制：服务发现、请求路由、负载均衡、灰度发布、错误重试、 断路器、故障注入 可观察性：遥测数据、调用跟踪、服务拓扑 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service q 服务数据（Mesh 中有哪些服务？缺省路由） v Service Registry § Kubernetes：原生支持 § Consul、Eureka 等其他服务注册表：MCP over xDS （https://github.com/istio-ecosystem/consul-mcp） v 通过CRD定义的服务数据 q 自定义流量规则（如何将请求路由到这些服务？） v 通过CRD定义的流量规则 Destination Rule 外部请求 内部客户端 Service2 Service1 网格内部 定义网格入口 • 服务端口 • Host • TLS 配置 • 路由配置 • 根据 Host 路由 • 根据 Header • 根据 URI 路由 目的地流量策略配置 • LB 策略 • 连接池配置 • 断路器配置 • TLS 配置 Gateway External Service 统一网格出口 •

Ø定义可扩展的插件机制 Ø对于满足请求Stream池化的需求 Ø需处理上层传入的状态事件PROXY 7 Ø基于Stream抽象提供多协议转发能力 Ø执行Stream扩展Filters Ø提供可扩展的路由寻址能力 Ø提供可扩展的后端管理，负载均衡，健康检查能力 Ø维护上/下游核心指标转发流程 8 IO Read Codec Stream Route / LB Codec Stream IO write Log Writer Pool send encode Q u e u e C模块划分 11要点总结 12 Ø模块化，分层解耦 Ø统一的编程模型接口 Ø可扩展的事件驱动模型 Ø可扩展的路由/后端管理机制 Ø更好的吞吐量3 能力核心能力 1 网络处理 •网络编程接口 •链接管理 •事件机制 •Metrics 收集 •TCP 代理 •TLS 支持 •TProxy 支持 •SOFA RPC •HTTP 1.x (待优化) •HTTP 2 (待优化) •Dubbo (研发中) •HSF (研发中) •On TLS 核心路由 •支持 virtual host 路由 •支持 headers/url/prefix 路由 •支持基于 host metadata 的 subset 路 由 •支持重试 后端管理 •基础负载均衡算法 •主动健康检查 •Subset

Nacos 做到 AP 协 议的关键。  存储模块：解决数据持久化、非持久化存储，解决数据分片问题。 插件  Nameserver：解决 Namespace 到 ClusterID 的路由问题，解决用户环境与 Nacos 物理环境 映射问题。  CMDB：解决元数据存储，与三方 CMDB 系统对接问题，解决应用，人，资源关系。  Metrics：暴露标准 Metrics 数据，方便与三方监控系统打通。 Nacos 架构 < 40 整个步骤包括几个部分（图中从上到下顺序）：  前置的 Filter 拦截请求，并根据请求中包含的 IP 和 port 信息计算其所属的 Distro 责任节点， 并将该请求转发到所属的 Distro 责任节点上。  责任节点上的 Controller 将写请求进行解析。  Distro 协议定期执行 Sync 任务，将本机所负责的所有的实例信息同步到其他节点上。 节点都可以接收到读写请求。所有的 Distro 协议的请 求场景主要分为三种情况： 1. 当该节点接收到属于该节点负责的实例的写请求时，直接写入。 2. 当该节点接收到不属于该节点负责的实例的写请求时，将在集群内部路由，转发给对应的节点， 从而完成读写。 3. 当该节点接收到任何读请求时，都直接在本机查询并返回（因为所有实例都被同步到了每台机 器上）。 Distro 协议作为 Nacos 的内嵌临时实例⼀致性

Mesh Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 app2 app1 app2 IDC1 IDC2 1 首次请求app1 2 随机分流 3 uid转发目标zone 4 响应请求 5 写入cookie 6 再次请求app1 7 跨机房转发 50% 50% • 机房内zone随机路由 • Cookie zone转发 • 蓝绿发布 • 容灾 ØZone内容灾 Ø机房级别 Ø城市级别 • 弹性调度 • 压测 • 灰度蚂蚁金服SSL/TLS实践 § Web Assembly模块扩展东西流量的服务发现与路由 F5（ipvs） APP APP APP APP 配置中心 APP APP APP APP Proxy APP APP APP APPService Mesh Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… Service 业务逻辑 轻量级SDK 协议编解码

RPC亲和，高度可扩展性 的Golang转发系统 • 开发活跃，最新版为0.4.0 • 蚂蚁+UC主导，重点搭载 SOFAMesh使用，目标服 务通用场景，金融场景SOFAMOSNSOFAMOSN内部模块设计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 & 技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 以及Dubbo支持 Ø 支持network/stream filter 扩展 Ø 支持WRR负载均衡 Ø 支持subset复杂匹配路由 Ø 无损平滑迁移 Ø ProtocolEngine协议扩展 机制 Ø 支持Router模式 Ø GRPC支持 Ø 协议自动识别 Ø 链式路由扩展 Ø 完善流量管理策略，包括 Retry、DirectResponse、 HTTP Header add/delete、 点，支持 云原生场景下的多协议、路由&LB、后端管理、TLS、遥感监测、XDS对接等功能， 并充分优化了性能，目前已经在蚂蚁、UC生产环境进行了验证。落地实践案例蚂蚁落地 – 应用接入 ü 适用于蚂蚁当前的服务发现 体系 ü 通过中间件通道对应用推送 MOSN调用地址 ü 通过扩展cluster类型的方式 动态获取配置中心后端 ü MOSN出向路由基于明确的 服务依赖关系生成 ü

b-ip, b-port=getOriginalDest() 都没有改造，直连 服务器端有改造，单跳 客户端有改造，单跳Service Mesh时代的客户端和寻址方式 服务发现 加密 负载均衡 请求路由 目标服务 的标识 序列化 链路追踪 故障注入 日志 监控 Metrics 熔断 限流 服务降级 前置条件检查 身份认证 密钥管理 访问控制 …… 下沉到 Service Mesh 轻量级客户端 • 得到Cluster IP (10.254.162.44) 5. kube-proxy拦截到10.254.162.44的请求 • 修改目标地址为Pod IP=192.168.1.* 6. 请求转发给pod kubernetes Pod IP=192.168.1.101 Pod IP=192.168.1.102 Pod IP=192.168.1.103 client Node podIstio 得到Cluster IP (10.254.162.44) 5. iptables拦截到10.254.162.44的请求 • 转发到localhost，打到Sidecar • 在TCP options将ClusterIP保存为original dest 7. 请求转发给对端sidecar kubernetes Pod IP=192.168.1.101 Pod IP=192.168.1.102

的Adapter Report的AdapterMixer反省之一：对性能的影响 ü 按照Istio的设计，每次请求Envoy都 要执行对Mixer的两次远程调用： • 转发前执行Check(包含Quota) • 转发后执行Report ü 我们的观点： • 需要请求同步阻塞等待的功能都应该在 Sidecar中完成 • 远程调用带来的性能开销代价太高 • 其他尽量优化为异步或者批量Istio的解决方案：添加Mixer Sidecar Local Sidecar Service-A 调用服务Service-b 8.8.8.1 8.8.8.2 8.8.8.3 服务注册中心 同步注册信息 Cluster-1 3.转发请求到edge sidecar， 标注Destination为Service-B 1. 通过注册信息交换同步到其他服务 注册中心，包括服务和Edge sidecar 2. 通过注册中心可以得知 edge-sidecar : 8.8.8.2@cluster2 edge-sidecar : 8.8.8.3@cluster2 Service-B@zone2 4. Edge sidecar执行服务发现并 转发请求给Service-B的实例7月底北京，第二次Service Mesher线下Meetup 下回分解：增强版Pilot和Edge Sidecar开源策略 Open Source 3蚂蚁金服，开源开放

具有较高的抽象层次，比较容易提取统一的控制面标准？ • 主要面向layer 7及以上？ • SMI能否统一控制面标准？如何避免成为最小公分母，扩展支持其它协议？ Ø 南向接口 • 面向流量和路由配置 • xDS v2将统一数据面标准？ • xDS接口包含有较多实现相关内容：Listener, Filter, 能否可以成为一个通用的接口协议？ 是否会出现Envoy之外的大量数据面实现？ OtherSystems Mobile DexMesh Ingress Pod Microservice Envoy (Telemetry， Policy check) 配置数据(服 务信息，路由 信息等) 定制Istio组件 应用微服务 业务请求 控制流 图例说明 Pilot Mixer APP: Canary Deployment K8s API Server 管控规则 上图中的Kubernets集群使用了Knitter网络插件，部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面，当服务地址和Envoy地址分别位于两个网络上时，会导致转发请求时 发生死循环，导致socket耗尽，Envoy不停重启。 Pilot Service Registry Register service (IP :10.75.8.101) 10.75

Istio+Envoy • 通过创建 EnvoyFilter 资源来给 xDS 资源打 patch • Envoy 解析 Dubbo 协议中的 Serivce 和 Method • 根据路由策略配置把流量转发到对应的 Provider • 通过WASM扩展 华为云：https://support.huaweicloud.com/bestpractice-istio/istio_bestpractice_3005