Istio控制平面组件原理解析 朱经惠 2018.08.25 Service Mesh Meetup #3 深圳站关于我 • 朱经惠，ETC车宝平台工程师。 • 喜欢开源，个人开源项目”Jaeger PHP Client”。 • 喜欢研究源码，对NSQ，Jaeger，Istio（控制平面）等go语言开源项目进行 过研究。 • 除了代码还喜欢爬山和第二天睡醒后全身酸疼的感觉。目录Pil uv1版本和v2版本之间的区别 u建立缓存配置 u触发配置生效方式v1版本和v2版本之间的区别 V1 HTTP1 REST JSON/YAML 弱类型 轮询 SDS/CDS/RDS/LDS 奠定控制平面基础 V2 HTTP2 GRPC Proto3 强类型 Push SDS/CDS/RDS/LDS/HDS/ADS/KDS 和Google强强联手 官方博客：The universal secretName: istio.default证书过期 üroot-cert.pem 实际有效期1年，没有找到更新方式，手动更新？ ücert-chain.pem 和 key.pem 实际有效期90天，程序控制有效期45天 ü证书过期会被重新生成并挂载到/etc/certs ü触发envoy热启动ü方案一： • 把重新生成证书时间改为凌晨http://www.servicemesher.com

for Integrity 009 Medium Go Trace Profiling Enabled By Default 013 Medium Permissive Kubernetes RBAC within a Namespace 015 Medium Default Sidecar Image Not Hardened 001 Low The Sidecar Does Not Use a Kubernetes cluster. This would also enable hostnames to be more easily protected via Kubernetes’ RBAC. Regardless, care should be taken with how canonicalization and prioritiza- tion between Hostnames | Google Istio Security Assessment Google / NCC Group Confidential Finding Permissive Kubernetes RBAC within a Namespace Risk Medium Impact: Medium, Exploitability: Low Identifier NCC-GOIST2005-015

Prevention Certificate Authority K8s Network Policy K8s RBAC Audit Logging Image Verification Admission Control Workload Identity K8s RBAC K8s CNI AuthZ Policy Peer AuthN Policy KMS Control Service 2 Proxy Namespace foo Istio authn & authz policies Namespace bar 2. Enforce k8s RBAC policies: roles bound to namespace, only mesh admins are allowed to have ClusterRole. 1. Use status. Lifecycle of service mesh security Edge Cluster Workload Operation GitOps Gatekeeper RBAC Audit log Metrics Security testing tools Security dashboard Prometheus Kiali Security Lifecycle

Iptables 规则 ./etc/istio/proxy/SDS 证书 获取 配置 文件 可以修改全局注入参数 作用于所有目标空间的 pod 证书更新 Envoy启动流程 Envoy控制面流量 Envoy数据面流量 ./etc/istio/proxy/XDS SDS xDS CSR Prometheus configmaps Copyright © Huawei Technologies GID=1337创建Envoy启动命令行与配置文件 • 可以通过自定义deployment内istio注解sidecar.istio.io/inject: “false”跳过自动注入过程，或修改部分启动参数。 • 2. 控制面通信 • Pilot-agent进程本身创建UDS接收Envoy连接，用于证书更新下发。并且与istiod建立证书更新通道。 • Envoy 通过pilot-agent转发机制与istiod建 Envoy常用部署方式 • 网格内部调用，通过自动注入到网格 内的iptables规则进行拦截 • 默认为2个工作线程 • 默认最大上游连接数1024，最大挂起 等待请求数1024 • 外部请求通过直接访问ingressgateway 网关端口进入网格 • ingressgateway为envoy相同二进制， 不做iptables规则注入，作为外网客户 端网格内代理。 • ingressgateway不设置工作线程数限

可以无需关注分布式架构带来的通信相关问题，而专注于其业务价值。 流量控制：服务发现、请求路由、负载均衡、灰度发布、错误重试、 断路器、故障注入 可观察性：遥测数据、调用跟踪、服务拓扑 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service 1 Istio 流量管理 – 概览 • 控制面下发流量规则： Pilot • 数据面标准协议：xDS • 集群内Pod流量出入： Gateway（可选,在一个集中点对外部访问进行控制） • Service discovery • Load balancing • Time out • Retries • Circuit breaker • Routing • Auth • Telemetry collecting 外部流量出口 外部流量入口 Pilot 2 Istio 流量管理 – 控制面 两类数据： q 服务数据（Mesh com/istio-ecosystem/consul-mcp） v 通过CRD定义的服务数据 q 自定义流量规则（如何将请求路由到这些服务？） v 通过CRD定义的流量规则 服务数据 流量规则 3 Istio 流量管理 – 控制面 – 服务发现 • K8s Service ： Pilot 直接支持 • ServiceEntry： 手动添加 Service 到 Pilot 内部注册表中 • WorkloadEntry：单独添加

增强负载能力 • 改善交付流程 • 客户充满 Love • 开发需求保持 PeaceIstio能做什么？ • 几乎全部功能都无需侵入 • 监控服务质量 • 控制服务间的访问路由 • 跟踪服务链路 • 应对服务故障 • 在服务间通信之间进行加密 • 访问控制和频率限制 • …Istio目前的突出问题 • API稳定性问题：流量管理也仅仅是v1alpha3，用alpha特性发布 1.0的情况似乎比较罕见。

Aeraki Dubbo Plugin 实现了控制面的管理，支持 下述能力： ○ 流量管理： ■ 七层（请求级别）负载均衡 ■ 地域感知负载均衡 ■ 熔断 ■ 基于版本的路由 ■ 基于 Method 的路由 ■ 基于 Header 的路由 ○ 可观测性：七层（请求级别）Metrics ○ 安全：基于 Interface/Method 的服务访问 控制 #IstioCon Aeraki 地域感知负载均衡(Dubbo) 场景：在开通地域感知负载均衡功能时，consumer 的请求将缺省被发送到本区域 的provider实例，当本地域无可用的provider实例，请求会被分发到其他区域。 实现原理：控制面根据 consumer 和 provider 的地域属性为provider实例配置 不同的LB优先级，优先级的判断顺序如下： 1. 最高：相同 region，相同zone 2. 其次：相同 region，不同zone 现阶段协议扩展方案面临的挑战： ● 在 Mesh 中支持一个七层协议的工作量较大： ○ 数据面：编写一个 Envoy filter 插件——流量管理（RDS、 负载均衡、熔断、流量镜像、故障注入等）、编解码 ○ 控制面：编写一个 Aeraki 插件——运维/流量管理策略 ● 非 HTTP 协议缺少 RDS 支持： ○ Listener 内嵌路由 ○ 修改内嵌路由后，Envoy 会重建 listener，导致业务出现短

通信基础 服务发现 负载均衡 熔断容错 动态路由 … for (封装++) { 应用侵入--； 治理位置--； } 微服务角度看Istio: 服务网格 服务网格控制面 从基础设施(Kubernetes)看Istio: 服务访问 Node svca svcc svcb.ns svcc.ns svcb svcd svce svce.ns svcd.ns svcd.ns Kube-proxy 熔断限流 • 负载均衡 • 服务发现 • 扩缩容 • 运维 • 部署 Kubernetes Istio Istio治理的不只是微服务，只要有访问的服务，都可以被治理。 Istio关键能力 流量管理 负载均衡 动态路由 灰度发布 可观察性 调用链 访问日志 监控 策略执行 限流 ACL 故障注入 服务身份和安全 认证 鉴权 平台支持 Kubernetes CloudFoundry

服务发现 负载均衡 熔断容错 动态路由 … for (封装++) { 应用侵入--； 治理位置--； }6 微服务角度看Istio: 服务网格 服务网格控制面7 从基础设施(Kubernetes)看Istio: 服务访问 Node svca svcc svcb.n s svcc.ns svcb svcd svce svce.n s svcd.n s svcd.n s • 负载均衡 • 服务发现 • 扩缩容 • 运维 • 部署 Kubernetes Istio9 Istio治理的不只是微服务，只要有访问的服务，都可以被治理。10 Istio关键能力 流量管理 负载均衡 动态路由 灰度发布 可观察性 调用链 访问日志 监控 策略执行 限流 ACL 故障注入 服务身份和安全 认证 鉴权 平台支持 Kubernetes CloudFoundry

和环境（k8s）相关的元数据 • Report: 上报数据 • Check: 决策是否允许当前访问 • Quota: 决策容量是否足够 Mixer or Sidecar，这是一个问题 • Mixer提供了一种非常灵活的模型，让Handler可以在流量中动态的选 择一部分来引入额外的机制（如权限控制、限流等），在应用运维中 这是很重要的能力，只要是不修改请求、响应的功能都可以采用扩展 Mixer来实现 注册Handler 扩展Mixer接入授权 • Mixer会直接影响整个Mesh的稳定性，因此替换时要做到尽可能稳妥 实践总结 • k8s/etcd 配置管理存在性能瓶颈： • 单一 resource 应控制在k级别，达到 10k 量级后响应可能会出现超 时导致配置读写状态异常，进而影响整个系统稳定性 实践总结 • Istio配置管理有局限性： • Endpoint的配置管理有防抖动处理，即使集群中的部署变化再快， 未来工作 • Service Contract: 封装Istio以及平台层的其他配置的复杂度，抽象出 一个安全、高效的应用运维体系 • Chaos Testing：解决复杂的微服务系统的持续运营和风险控制问题