Co-founder of Layotto Service Mesh 落地之后: 为 sidecar 注入灵魂 2 • Multi Runtime: 从 sidecar 到机甲 • Runtime API: 解决跨云部署和厂商绑定难题 • WebAssembly in sidecar: 让业务逻辑跑在sidecar里 • Service Mesh 回顾 • 展望2022：待解决的问题 • 总结 Mesh 的初衷 6 • 升级成本高 • 业务解耦 • 平滑升级 • 异构语言治理 • 异构语言治理能力弱 • SDK 版本不统一 应用 SDK 服务路由 负载均衡 通信序列化协议 sidecar 应用 SDK 通信序列化协议 业务逻辑 服务路由 熔断限流 进程通信 熔断限流 负载均衡 Service Mesh 落地实践 7 基础设施 MOSN RPC MQ Micro Kernel 另一种视角看待 Runtime API 39 设计Runtime: 单体sidecar(Monolithic sidecar) 还是 微sidecar(Micro sidecar)？ Monolithic sidecar All in one sidecar State Binding Networking (service mesh,pubsub …)

Mesh：istio的增强扩展版 Pilot Auth Mixer Envoy Pilot Auth Mixer Golang Sidecar Istio现有架构 Sofa Mesh架构 1. 用Golang开发 Sidecar，替代Envoy 2. Mixer被部分合 并进入Sidecar 3. Pilot/Auth 做扩展和增强 Control plane Control plane Data Data plane Data plane Mixer架构设计 Architect2Golang版Sidecar Pilot Auth Golang Sidecar Mixer XDS API Mixer Service HTTP/1.1 HTTP/2 Sofa RPC ü 参照Envoy的设计 ü 实现XDS API ü 兼容Istio ü 支持HTTP/1.1和HTTP/2 1和HTTP/2 ü 扩展Sofa/Dubbo/HSF Dubbo RPC HSF RPC最大的改变：合并部分Mixer功能 Pilot Auth Mixer Golang Sidecar Mixer ü Mixer三大功能： • Check – 同步阻塞 • Quota – 同步阻塞 • Report – 异步批量 ü 合并Check和Quota ü Report暂时保留在Mixer中

Mesh Meetup #6 广州站基于 Secret Discovery Service Sidecar 的证书管理方案 使用可信身份服务构建敏感数据下发通道 Service Mesh Sidecar 的 TLS 生产级落地实践 分享内容基于 Secret Discovery Service Sidecar 的证书管理方案 Kubernetes Secret 证书管理流程 在 Kubernetes Secret 更新时，Sidecar 需要通过热重启方式重新加载，成本高昂基于 Secret Discovery Service Sidecar 的证书管理方案 Envoy SDS 证书管理流程 Secret Discovery Service 是 Envoy 提出的 Sidecar 证书管理方案，方案的核心流程在于引入 SDS Server 进行密钥管理和分发，Sidecar 通过 gRPC 请求获取证书，并利用 请求获取证书，并利用 gRPC stream 能力实现证书动态轮转。 当然，Sidecar 和 SDS Server 的通信也需要保证自身的通信安全，存在以下两种方案：  Sidecar 与 SDS Server 采用 mTLS 通信，采用静态证书方案，通过 Secret Mount 方式获取通信证书  Sidecar 与 SDS Server 采用 UDS 方式实现纯内存通信，不需要使用证书。基于

���������HTTP�� Dubbo! SpringCloud! Thrift! gRPC! ���! �! �! �! �! ���! Java! Java�Python� Node.js���� sidecar�����! Java�Python�C+ +�Node.js��� �! Java�C++� Python�Node.js� ���! ����! TCP/HTTP! HTTP! TCP Service A! Sidecar! Service B! Sidecar! • Service Mesh������������������������������������������������ Service Mesh�������������������������������� • ���Sidecar�������������������������Sidecar�� • • Sidecar������������������������ 99 Service Mesh���� • �������������Sidecar����������������Sidecar��Service Mesh���� • ���������Sidecar������������������������������Sidecar�� �������Sidecar����

项目，它在不需要修改服务代码的情况下，为现有的分 布式应用程序添加了一个透明的层。您可以在服务中添加对 Red Hat OpenShift Service Mesh 的支持，方 法是将一个特殊的 sidecar 代理服务器部署到用于处理不同微服务之间的所有网络通讯的环境中。您可以 使用 control plane 功能配置和管理 Service Mesh。 Red Hat OpenShift Service pod，则不会进行 sidecar 注入。在创建 pod OpenShift Container Platform 4.2 Service Mesh 6 MAISTRA-453 如果创建新项目并立即部署 pod，则不会进行 sidecar 注入。在创建 pod 前，operator 无法添加 maistra.io/member-of ，因此必须删除 pod 并重新创建它以执行 sidecar 注入操作。 项目，它在不需要修改服务代码的情况下，为现有的分 布式应用程序添加了一个透明的层。您可以在服务中添加对 Red Hat OpenShift Service Mesh 的支持，方 法是将一个特殊的 sidecar 代理服务器部署到用于处理不同微服务之间的所有网络通讯的服务网格中。您 可以使用 control plane 功能配置和管理 Service Mesh。 Red Hat OpenShift Service

非k8s上 不是Service Mesh形态 部署在K8s上 非SM 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在K8s上 Service Mesh (Istio模式) 部署在K8s上 Service Mesh (Sidecar模式) 部署在 非k8s上 Service Mesh (Istio模式) 应用终极形态 应用现状 1 1 1 2 2 2 3 4 4 4 比较理想，绝大部分 投入最终都将保留 Service Mesh (Sidecar模式) Service Mesh (Istio模式) 带完善的控制 平面，如Istio 只有Sidecar， 直接集成周边 不现实 Istio的非k8s支 持投入产出比 太差 背景1：原生Istio无法支撑我们的规模 背景2：k8s（Sigma3.1）将加快普及 铺开，快速会师ü 和路线1的核心差别 • 是先上k8s，还是先上Service Mesh • 而且是终极形态的Service Mesh（意味着更偏离目标） ü 好处是第一步（非k8s上向Sidecar模式演进）非常自然 • 容易落地 • 快速达成短期目标 ü 缺点是再往后走 • 由于没有k8s的底层支持，就不得不做大量工作 • 尤其istio的非k8s支持，工作量很大 • 而这些投入，在最终迁移到k8s时，又被废弃

使用 Elasticsearch 管理证书 3.2.5.7. 查询配置选项 3.2.5.8. Ingester 配置选项 3.2.6. 注入 sidecar 3.2.6.1. 自动注入 sidecar 3.2.6.2. 手动注入 sidecar 3.3. 配置和部署分布式追踪数据收集 3.3.1. OpenTelemetry Collector 配置选项 3.3.2. 验证部署 3.3 TRACING-2009 已更新 Jaeger Operator，使其包含对 Strimzi Kafka Operator 0.23.0 的支持。 TRACING-1907 Jaeger 代理 sidecar 注入失败，因为应用程序命名空间中缺少配置映射。因为 OwnerReference 字段设置不正确，配置映射会被自动删除，因此应用程序 pod 不会超过 "ContainerCreating" Elasticsearch Operator 无法与所 有 Elasticsearch 集群通信。 在使用 Istio sidecar 时，在 Agent 和 Collector 间的连接会出现 TRACING-1300 失败。对 Jaeger Operator 的更新默认启用了 Jaeger sidecar 代理和 Jaeger Collector 之间的 TLS 通信。 {"level":"warn","ts":1642438880

OSP client 服务路由 网络传输 服务元数据上报缺点 • 语言单一 • 升级困难 • 复杂代码嵌入对客户端进程影响大服务化体系2.0 - Service Mesh雏形 • 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Thrift over TCP Thrift over TCP JSON over HTTP JSON over HTTP多语言服务端接入 • Registry Agent • sidecar • 注册代理 • 健康检查 • 服务端受限于Proxy支持的协 议（目前只支持HTTP 1.1） Local Proxy Web Server Service Registry API 组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性，在我们的实践中好处大 于坏处胖客户端 vs. service mesh vs. cluster 胖客户端 Sidecar（物理机） Daemonset（云） Cluster（HTTP） 接入难度 容易。打入依赖包即可 容易。需依赖SDK 容易。需依赖SDK 编码难度 容易。IDL接口规范 容易。IDL接口规范

Pod之后发生的事 情： • Sidecar Injection: 注入initContainer, Sidecar, istio-certs volume • Citadel: 自动刷新secrets, k8s自动加 载istio-secrets volume • Pilot: 和Sidecar建立连接，管理动态配 置 • Mixer: 和Sidecar建立连接，管理授权 、Quota和审计数据 及两方面： • 扩展Sidecar：加入认证支持，提供了对业务系统的认证支持，将用 户相关信息以header的形式传入mesh，后续的授权、监控、限流 都可以用Istio原生的机制来完成 • 扩展Mixer：选择一部分流量来应用对应的授权逻辑 FreeWheel的Istio实践 • 右图为接入FreeWheel自定义认证和 授权模块的原理图 扩展Sidecar接入认证 • 修改 i istio-system/istio-sidecar- injector 这个ConfigMap，加入自定 义反向代理 FreeWheel的Istio实践 • 通过在Sidecar中增加FreeWheel自定义认证支持，下游可以充分利用 Istio提供的授权、限流、监控接口，不过要注意Sidecar也有一些小坑 ： • Sidecar没有k8s自动注入的secret，也无法通过容器内环境变量自

代理是 一个网络守护进程，侦听通过用户数据报协议(UDP)发送并发送到 Collector。这个代理应被 放置在要管理的应用程序的同一主机上。这通常是通过容器环境（如 Kubernetes）中的 sidecar 来实现。 Jaeger Collector (Collector, Queue, Workers)- 与 Jaeger 代理类似，Jaeger Collector 接收 span，并将它们放置在内部队列中进行处理。这允许 Frontend - Query Frontend 负责为传入的查询对搜索空间进行分片。然后，搜索查 询会发送到 Queriers。Query Frontend 部署通过 Tempo Query sidecar 公开 Jaeger UI。 Querier - Querier 负责在 Ingester 或后端存储中查找请求的 trace ID。根据参数，它可以查 询 Ingesters，并从后端拉取 Bloom production 策略主要用于生产环境，在生产环境中，对 trace 数据进行长期存储非常重要，同时需要 更容易扩展和高度可用的构架。因此，每个后端组件都将单独部署。Agent 可以作为检测应用程序上 的 sidecar 注入。Query 和 Collector 服务被配置为使用一个受支持的存储类型 - 当前为 Elasticsearch。可以根据性能和恢复能力的需要提供每个组件的多个实例。 streaming