一个后端实例。这不是所需的那种负载均衡，因为它不允许独立地 扩展客户端和服务器。当客户端实例比服务器实例少时，一些服务 器实例将处于空闲状态，所以 Kubernetes Service 不太适合 gRPC 负 载均衡。—摘自：http://www.k8smeetup.com/article/N1yW3gPNXgRPC LoadBalancing • gRPC 负载均衡的文档： https://github.com/grpc • 想要让服务支持 Istio，只需要在您的环境中部署一个特殊的 sidecar 代理，使用 Istio 控制平面功能配置和管理代理，拦截微服务之间的 所有网络通信。Istio 的特点 • HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。 • 通过丰富的路由规则、重试、故障转移和故障注入，可以对流量行 为进行细粒度控制。 • 可插入的策略层和配置 API，支持访问控制、速率限制和配额。 requests to the local network from hooks and services.) • Drone • Drone 0.8 在 kubernetes 上支持的不好（RPC error）； • .drone.yml not .drone.yaml • Failed to activate your repository（检查网络，以及代理配置） • plugins: • drone-kubernetes

技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1.1、 HTTP/2.0支持 Ø 进程平滑升级 Ø SOFAMesh集成，支持 xDS on ADS Ø X-Protocol协议扩展机制， 以及Dubbo支持 Ø 支持network/stream Retry、DirectResponse、 HTTP Header add/delete、 流控、故障注入等 Ø 支持必要的admin接口性能 0.1.0 0.2.0 0.3.0 0.4.0 Ø 内存复用框架 Ø Slab style buffer Ø Raw-Epoll模式 Ø 读合并 Ø 协程池化 Ø 调度均衡 Ø SOFARPC深度优化 Ø TLS官方库IO优化 Ø HTTP1.1/HTTP2.0 IO优化 断开链接 继续读取数据技术案例 – HTTP/2.0优化 官方HTTP/2.0实现问题： 1. syscall read较多，效率低下 2. 每个stream分配单独的goroutine处理， 调度开销高 3. 临时对象多，GC占比高 4. 基本实现了RFC中MUST部分，部分功 能需求上不匹配，如GRPC trailer实现技术案例 – HTTP/2.0优化 优化思路：适配MOSN框架，复用官方实现核心结构体和解析流程

核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper, BoltDB ports: - "80:80" # HTTP 端口 - "8080:8080" # Web UI 端口(需要开启 --api.insecure) volumes: - /var/run/docker.sock:/var/run/docker.sock whoami: image: containous/whoami labels: - "traefik.http.routers.whoami https://mycompany.org/jenkins -> http://jenkins:8080/jenkins jenkins: image: jenkins/jenkins:lts environment: - JENKINS_OPTS=--prefix=/jenkins labels: # 因为50000也暴露了，所以声明下端口 - "traefik.http.services.jenkins.LoadBalancer

Center Remote Proxy Cluster API Gateway 备用链路 服务发现 服务注册 配置下发 服务路由 网络传输 OSP client多语言客户端接入 • HTTP & TCP • Local & Remote • 根据接入对象的不同，制定 不同的接入策略，达到 • 接入简单 • 保证性能 • 节省资源 Java App Local Proxy OSP Thrift over TCP Thrift over TCP JSON over HTTP JSON over HTTP多语言服务端接入 • Registry Agent • sidecar • 注册代理 • 健康检查 • 服务端受限于Proxy支持的协 议（目前只支持HTTP 1.1） Local Proxy Web Server Service Registry Registry API Gateway 健康检查 服务注册 Registry agent 服务发现 HTTP/JSON HTTP/JSON容器化 • Proxy Daemonset • 每台宿主机一台Proxy • Proxy地址文件 • Mount到所有pod • 客户端容器监听文件，根据地 址文件找Proxy • 切换地址到remote proxy，轻 易实现优雅退出和滚动升级

Spanner LVS(四层负载) DNS 网络控制面 LDC1 Spanner Spanner APP APP APP APP Keycenter HTTP1 TLS1.2 MMTP Mtls MQTT HTTP2 TLS1.3 QUIC 国密 硬件加速 安全合规 Spanner LVS(四层负载) DNS LDC2 Spanner Spanner APP APP Zstd通信协议&架构持续升级 多终端&协议接入 架构升级 云原生生态融合 § MQTT协议的IOT设备接入 § 就近就优海外接入，智能调度 § 蚂蚁全球加速节点，全协议支持 § 支持UDPA § QUIC/HTTP3 § 接入层容器化，混部 § 支持QUIC协议的LB建设 § Web Assembly模块扩展东西流量的服务发现与路由 F5（ipvs） APP APP APP APP 配置中心 APP 流量控制蚂蚁金服率先大规模落地SOFAMesh UDPA 安全 统一数据 平面API 存量连接无损迁移 提升5倍发布效率 TLS双向加密 支持国密算法 WAF 流量镜像 多协议 SOFARPC Dubbo HTTP1.1/2 平滑升级 性能 单跳CPU增加5%消耗 0.2ms RT 蚂蚁金服100+应用，10w+容器已经mesh化，部分业务链路通过下沉， RT降低了7%，平稳支撑了618大促。SOFAMosn

全⾯面/灵活可扩展 服务治理理Service Mesh Meetup · BeiJing 跨语⾔言服务化⽅方式对⽐比 �11 微博Service Mesh实践 - WeiboMesh Http代理理 RPC模块 Agent代理理 研发成本 低 ⾼高 中 维护成本 低 ⾼高 中 使⽤用成本 低 低 中 治理理功能 中 ⾼高 ⾼高 扩展能⼒力力 低 中 ⾼高Service Mesh �23 微博Service Mesh实践 - WeiboMesh WM ⽬目标机器器 WM 请求机器器 client server motan2/simple provider http/cgi/… motan2/simple pointerService Mesh Meetup · BeiJing Weibo Mesh 控制⾯面 �24 微博Service Mesh实践 handler Registry cgi cgi HTTP http filter register discoverService Mesh Meetup · BeiJing 反向代理理特点 �33 微博Service Mesh实践 - WeiboMesh ➢ 提供HTTP/cgi provider，可扩展 ➢ HTTP框架⾃自动转RPC，业务⽆无需开发新RPC框架 ➢ 不不影响原有服务的提供

rvice Mesh是下一代的SDN吗？ Network Layer Look at Solution Layer 7+ Message Body Service Mesh Layer 7 HTTP Header Service Mesh Layer 4 TCP Port SDN/Service Mesh? Layer 3 IP Address/Protocol SDN Layer 2 成本 Ø Istio不理解TCP上的应用层协议，其对TCP Service的缺省处理会影响应用层逻 辑 -例子：Envoy的LB算法不能处理应用后端集群的Sharding Ø Istio中和HTTP Service 端口冲突会的TCP Service请求会被Envoy直接丢弃 - 要求对应用进行改造，避免端口冲突 建议 Ø 将TCP纳入Service Mesh管控还不成熟，成本远大于收益 TCP流量 通过IP段或者端口范围区分HTTP和其他TCP流量 - 需要对应用进行改造 l 方案二：在Envoy中 bypass TCP 流量 -不需要对应用进行改造，但Envoy要具备区分TCP和 HTTP流量的能力，需对Envoy进行改造 改造方案： Ø Envoy侧：通过一个自定义的envoy listener filter区分HTTP 和非HTTP的TCP流量 Ø Pilot侧：修

your services as managed APIs 概念 流量 东西流量（内部） 通信协议 路由 鉴权 流控 安全 协议转换 通用协议（HTTP、gRPC 等） 私有协议（WS、Dubbo、Bolt 等） 一般不需要 HTTP to 内部 RPC 协议 基于 Host、Path 等路由 基于 Service 路由 强依赖（Hmac\Oauth\JWT\Session 等) 弱依赖（RBAC） APP Mobile Server 单体架构 Logic Logic Logic Logic 支付宝移动网关的前身（2009-2013） 特点： • ALL in One • 简单 HTTP 缺点： • 研发效能低 • 稳定性差9/21 APP 微服务网关架构 APP1 Logic Logic API Gateway APP2 Logic Logic 微服务网关架构（2013-2016) 微服务网关 • 蚂蚁金服 RPC 协议 • 安全\鉴权\监控 • Netty 异步化 • 私有协议 MMTP 缺点： • API 网关变更风险 • 业务分级隔离需求 • 大促容量规划问题 HTTP/MMTP sofarpc10/21 去中心化网关架构（2016-2018) APP 去中心化网关架构 LB spanner APP1 Logic Logic API Gateway

Pilot Auth Golang Sidecar Mixer XDS API Mixer Service HTTP/1.1 HTTP/2 Sofa RPC ü 参照Envoy的设计 ü 实现XDS API ü 兼容Istio ü 支持HTTP/1.1和HTTP/2 ü 扩展Sofa/Dubbo/HSF Dubbo RPC HSF RPC最大的改变：合并部分Mixer功能 Mesh技术感兴趣的国内 厂商/企业/技术媒体，开展不同层面上的交流与合作。开源准备中，七月，github见！ Sofa Mesh on the way！Service Mesher社区网站开通！ http://www.servicemesher.comService Mesher技术社区 微信公众号 微信交流群 加入方式：请添加净超为好友，注明 servicemesherTHANKS

process in OS. • Endpoint. It is a path in the certain service for incoming requests, such as HTTP URI path or gRPC service class + method signature. Core ConceptsOAP Key Feature Multiple telemetry Endpoint. URI in HTTP, service method full signature in gRPC. • Start Time. Request time. • Latency. In milliseconds. • Response code in HTTP • Status. Success or fail. • Protocol. HTTP, gRPC • DetectPoint