进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper ..1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host

Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应 用程序自己保证防重放攻击 Small Ticket • 自定义Session Ticket编码格式 业务可根据需求灵活选择明文 或密文传输，提升业务效率 动态Record Size • 平衡吞吐与时延 高效 优化 灵活 TLS扩展安全合规能力持续升级 国密算法 • 拥抱监管 • 安全可控 • 金融科技 AntTLS库 • 基于OpenSSL • 全面拥抱TLS1.3 • 国密优化实现，国密单证书标准支撑 • 支持SGX等可信机制 • 多硬件卡Engine • Mobile，iot设备等多终端支持

日志平台11/24 性能视角 – cNginx vs Envoy（优化前） • 1600RPS+40个并发(主机配置均为 8C16G) • cNginx 的 RT overhead 在0.4ms左右 • Envoy(client模式)的 RT overhead 是0.6ms左右12/24 性能视角 – cNginx vs Envoy（优化后） • 优化方案 • 采用 sriov 容器网络 • Envoy：将1 Envoy：将1.13版本中 connection loadbalancer 特性移植到 1.10.x 版本 • Envoy 优化后在低并发（<64）的情况下，容器网络 client sidecar 优于 VM 网络直连 • Envoy 优化后在高并发（>=64）的情况下 • 容器网络 client sidecar 接近 VM 网络直连 • 容器网络 client sidecar 远远优于 VM 相关配置下发功能版本后，Envoy 在一定压力访问或 有客户端主动断开请求时，会进入一段存在问题的断言（assert）逻辑，导致 envoy crash， 此时请求方体现为 502 异常 • 社区目前给出的优化建议是在 envoy 编译选项使用 -opt（默认为 -dbg） • 社区已在新版本清理这段问题断言逻辑：https://github.com/envoyproxy/envoy/issues/9083

(Pilot+Consul 占用冲高到 400%) • TIME_WAIT Sockets 太多导致FD耗光 Consul Registry优化 • 增加数据缓存，减少无谓的Consul Catalog API调用 • 将Polling改为Watch，大幅降低Consul服务数据变化后的同步时延 优化效果 • 200个服务的规模下，CPU占用率降低了一个数量级 • 服务数据变化同步时延从分钟级降低到秒级 • Consul调用导致的TIME_WAIT 租户间的隔离和访问控制 • 用户层面的访问控制 • 按用户的API访问限流 • API访问日志和计费 Service Mesh：统一的微服务通信管理 • 服务发现 • 负载均衡 • 重试，断路器 • 故障注入 • 分布式调用跟踪 • Metrics 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的，主要原因包括：避免不同功能的网络之间的 相互影响； 网络设计冗余，增强系统网络的健壮性； • IPV6支持增强 • 在Istio中集成方法级的调用跟踪 • 在Istio中集成Kafka调用跟踪上游开源社区参与情况 所有通用的故障修复、性能优化和新特性都提交PR合入了上游社区。包括： • Consul Registry性能和资源占用优化 • 多网络平面支持 在产品化过程中对Istio的改进会持续向社区进行贡献！Service Mesh中文社区 https://www.servicemesher

Kubernetes 落地，超过 90% 的资源通过 Kubernetes 分配，核心链路100%落地支撑 大促。5/19 大促规模 Part 1：蚂蚁金服的Kubernetes现状 数万台 服务器和ECS 超一万 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 数据库服务 OB serverless 平台 kata SOFAMesh 资源分时复用 神龙裸金属 VPC 云存储 应用服务器 数据库服务器 国产化服务器7/19 二、双十一 Kubernetes 实践 Part 2：8/19 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 Agent Pod 资源 Node 分时调度 Agent Pod 资源 容量平台 监控平台 巡检平台 流量控制 流量平台 配置中心 流量控制器 流量状态CRD 资源状态CRD 资源及流量控制CRD 资源控制 分时调度 控制器 Pod 资源 Pod 资源 Pod 资源10/19 Part 2：资源分时调度 分时切换效果 数万台 应用 Pods 分钟级 链路切换 数万核

方案：出流量降级至本应用的其他Agent 出流量容灾20/24 数据平面性能优化 方案整体 • 新增MOA Mesh协议 • 减少decode请求体开销 • ProtoBuf替换JSON • 复用连接并适当设置连接数 Agent内部 • 对象池化：减少资源消耗与GC压力 • 响应等待机制：非阻塞等待 两次请求转发小于0.2ms Agent外部 • 提升服务器性能（缩减耗时绝对值） API层接口耗时增长小于6%21/24 API层接口耗时增长小于6%21/24 数据平面资源占用 与业务容器共享CPU、内存资源配额 为Agent JVM分配256M内存资源 服务器消耗增加约10% 分配方式 内存资源 服务器资源 维持现有内存使用率与 服务器配置的最坏情况 实际需预留 600M内存22/24 数据平面兼容原有架构 对接原有系统 • 使用原有系统SDK、私有协议 直连访问 兼容未升级服务 • Proxy Agent支持以原有通信

规则路由、标签路由、邻近机房 路由、Hash路由、基于权重的路 由、熔断、健康探测、超时重试、 限流降级等等 • 契约化治理，服务接口变更diff并 通知上游 • 环境无关，物理机、云、测试机 器、本机都能跑实践中踩过的坑 我是作者名称ZooKeeper的强耦合 • 初始设计没有抽象服务注册发现和服务配 置的接口，直接操作ZK并且依赖了ZK的特 性和原语 • ZK弊端显现 • 跨机房多活问题 通过传递剩余超时时间，让下游可以判断是否 继续一些重量级操作 • 实时上下游限流治理 • 下游资源异常（DB调用超时、redis超时等）动 态调整上游限流值或直接降级 • 智能路由 • 根据实时数据优化不合理的跨机房调用 Proxy App 服务调用 （带超时时 间） Proxy App Proxy App Service A Service B Service C 调用

sidecar-ip:sidecar-port store: b-ip:b-port to: b-ip:b-port b-ip, b-port=getOriginalDest() 都没有改造，直连 服务器端有改造，单跳 客户端有改造，单跳Service Mesh时代的客户端和寻址方式 服务发现 加密 负载均衡 请求路由 目标服务 的标识 序列化 链路追踪 故障注入 日志 监控 Metrics 实现平滑迁移的关键 3 4 5 总结 DNS寻址方案的后续规划 DNS寻址方案的演进CoreDNS DynAPI 安全加强 1 HTTP 2 HTTPSCoreDNS 后端Etcd Watch性能优化 https://coreos.com/blog/etcd-3.2-announcement印度IDC 全球域名整合 Kube ApiServer query nslookup 张北IDC

+Web Assembly介绍 Part 2：ServiceMesh灵魂拷问二：性能有了，架构怎么办？ Mozilla官方定义： WebAssembly是一种新的编码方式，可以在现代的网络浏览器中运行 － 它是一种低级的类汇编语言，具有 紧凑的二进制格式，可以接近原生的性能运行，并为诸如C / C ++等语言提供一个编译目标，以便它们可以 在Web上运行。它也被设计为可以与JavaScript共存，允许两者一起工作。 Service Mesh 出道四年，后面会怎么发展要架构， 还是要 性能？ 落地，落地，落地 灵 魂 拷 问 性能有了， 架构 怎么办？ 要不要 支持 虚拟机？ 说好的 供应商 不锁定呢？ 优化，创新 落地，创新 标准化，生态共建 每一个问题和答案， 都会深刻影响未来几 年Servicemesh的 走向，请密切关注关注 ServiceMesher 微信公众号 获取社区最新信息 关注