Mesh实践 冯玮 七牛容器云架构师 2018.11.25 Service Mesh Meetup #4 上海站Ingress Controller • 流量管理 • 安全管理 • 统一配置 • 反向代理Contour • 本质上还是Ingress Controller • Kubernetes深度整合 • Gimbal生态组件Contour特点 • 基于Envoy • 协议转换 • 多集群入口流量整合管理 • 劣势 • 缺少大规模落地案例 • 功能/非功能仍需加强Contour & Istio • 南北向流量 • API版本共存（Istio & Kubernetes Ingress） • 东西向流量 • Istio支持全量功能 • Contour支持Tracing能力 • 数据面共存 • 共用边车组件Envoy七牛现有Service Mesh体系 • Istio产品化

MOSN，云原生时代的安全网络代理 Service Mesh 控制面 Galley Pilot Pod SOFA 服务 MSON Kubernetes TLS，国密 服务鉴权 Mirror Ingress Controller Pod Msg 服务 MOSN Pod Dubbo 服务 MOSN Pod 数据访问服务 MOSN TLS，国密 服务鉴权 Mirror 访问请求 MOSN 适配 Istio，兼容 UDAP 协议 Zookeeper，Etcd Open Tracing, Jaeger Prometheus, StatsD 生态融合 支持 K8s Ingress，Edge Proxy、Mesh Sidecar， Api Gateway 等多种代理 形态 多场景10/10 开源所幸，云之爆发 我们认为，未来会更多地属于那些告别大教堂、拥抱集市的人们。《大教堂与集市》感谢聆听

KubernetesKubernetes 简单示例Traefik With Kubernetes containers: - image: traefik:v2.0 name: traefik-ingress-lb ports: - name: web containerPort: 80 hostPort: 80 - name: websecure containerPort: 443 hostPort: dashboard=true - --api.insecure=trueIngress apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: kubernetes.io/ingress.class: 'traefik' spec: rules: - host: whoami.k8s.local http: paths: - - path: "/whoami" backend: serviceName: webapp servicePort: 80Ingress CRD apiVersion: traefik.containo.us/v1alpha1 kind: IngressRoute metadata: name: traefik-webui namespace: kube-system spec: entryPoints:

MSB-Consul Jaeger DexMesh数据面 Pod Microservice Envoy Desktop OtherSystems Mobile DexMesh Ingress Pod Microservice Envoy (Telemetry， Policy check) 配置数据(服 务信息，路由 信息等) 定制Istio组件 应用微服务 业务请求 200个服务的规模下，CPU占用率降低了一个数量级 • 服务数据变化同步时延从分钟级降低到秒级 • Consul调用导致的TIME_WAIT Sockets数量减少到个位级产品化增强-Ingress API Gateway K8S Ingress Load balancing SSL termination Virtual hosting Istio Gateway Load balancing SSL termination 提供API管理能力， 缺少服务网格能力在DexMesh场景下Mesh和API Gateway的分工与协同 External request MSB API Gateway API Management Ingress Sidecar Service Discovery & Traffic Management Server Sidecar Sidecar Client Service Mesh Service

Gateway Mesh 的定义 蚂蚁金服 API Gateway Mesh 实践 云原生 API Gateway 的思考2/21 API Gateway Mesh 的定义 /013/21 LB\Ingress API Gateway Sidecar App POD Sidecar App POD Traffic Control Plane K8S Cluster API Gateway Motorcycle (MOSN/Envoy) Service Mesh is Patterns SofaRPC API Gateway MQ Client Service Code6/21 LB\Ingress API Gateway Sidecar App POD Sidecar App POD Traffic Control Plane Cluster API Gateway Mesh Mesh 灰度能力建设17/21 云原生 API Gateway 思考 /0318/21 可管理性 功能 云原生南北向流量方案19/21 MOSN APP1 MOSN MOSN LB/Ingress APP1 MOSN MOSN MOSN Cloud A Cloud B LB Sidecar API Gateway Centralized API Gateway Decentralized

decar type is used for sidecar proxies in the application containers. ii. "ingress" Ingress type is used for cluster ingress proxies. iii. "router" Router type is used for standalone proxies acting as

XProtocol DNS方案规划 & 展望MOSNG 待开源MOSN-X eBPF 加速卡 DPDK MOSN SSL Offload User Protocol Stack K8S Ingress Microservice Frontend & Gateway MOSNG Serverless 高性能统一转发平面 下一代微服务体系 下一代网络接入系统 运维/流量调拨/监控/…

变更管控能力；发布流程 无损发布流程控制； 内部流量： RPC 外部流量： SLB（ALB） DNS 发布运维体系 InPlaceSet Controller Pod Service/Endpoint Controller LoadBalancer Controller 创建 更新 等待3s 执行升级 ReadinessGate=true 添加Pod IP 注册Pod IP 添加finalizer partition:3 partition:5 InPlaceSetControlle r replica:519/20 技术风险管控 Operator变更三板斧 发布运维体系 可灰度： • Controller 发布避免 0-1； 可回滚： • 回滚到基线版本； • 快速止血，停止新版本调和； 可监控： • metrics 指标(任务队列|消费&重 试情况|吞吐量&错误)；

支持主流的微服务框架 • SOFA • HSF • DUBBO • SPRING CLOUD • … • 控制平面创新的地方 • MESH OPERATOR • RPC SERVICE CONTROLLER • …SERVICE MESH 落地中的问题常见的 MESH 落地方案 在非 KUBERNETES 环境部署 ISTIO 把 KUBERNETES 当作一个更好用的虚拟化方案 KUBERNETES Endpoint • Pod • 使用 DNS 寻址 • 使用 iptables/ebpf 透明地路由所有网络流量 • 服务治理规则，服务，实例和配置都是 Kubernetes 资源 • 使用 Controller Pattern 通过 CRD 扩展新的能力 • …MESH 落地碰到的问题 • 客户端服务发现与负载均衡无法与 ISTIO 一起工作 • ENVOY 不支持微服务使用的通信协议 • RPC outbound|12220|user.v2|user.d efault.svc.cluster.local 80% 20%POD DNS 寻址方案 APP Register Agent RPC Service Controller CoreDNS Kube API Server Pilot Discovery SOFA MOSN Get Service Info Get Service Info Watch

103:12220 192.168.1.104:12220 instances：[”192.168.1.104:12220”] SOFA Registry CoreDNS RPC Controller Kube API server Discovery services renew RPC services Watch services renew RPC DNS b.svc pod Sidecar 将接口加入DNS， 指向ClusterIPSOFAMesh 的DNS寻址方案的实现细节 POD APP Register Agent RPC Service Controller CoreDNS Kube API Server Pilot Discovery SOFA MOSN Get Service Info Get Service Info Watch