SOFA MESH 的通用协议扩展 Service Mesh Meetup #3 深圳站 邵俊雄（熊啸） 2018.08.25AGENDA • SOFA MESH 介绍 • SERVICE MESH 落地的问题 • SOFA MESH 的通用落地方案 • DNS 服务寻址方案 • X-PROTOCOL 通用协议 • 问答SOFA MESH • 从 ISTIO 克隆并保持同步更新 • 使用 使用 Controller Pattern 通过 CRD 扩展新的能力 • …MESH 落地碰到的问题 • 客户端服务发现与负载均衡无法与 ISTIO 一起工作 • ENVOY 不支持微服务使用的通信协议 • RPC 服务使用的接口，方法，参数语义无法匹配 ISTIO 的路由模 型 • 一个应用上部署了多个 RPC 服务，每个服务有自己的版本 • …ISTIO 控制平面路由的抽象模型 INBOUND DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持SOFA MESH 的统一解决方案 • 采用 Kubernetes Native 方式落地微服务应用 • 使用 INTERFACE 作为 DNS 来寻址服务 • 开发一个通用协议处理框架 • 避免为不同的微服务框架修改 PILOT 代码 • 通过插件的方式按需支持新的协议 • 对应用代码无侵入性 • 为微服务框架提供轻量化客户端落地一个微服务框架需要的工作

Istio 流量管理原理与协议扩展 赵化冰 赵化冰 腾讯云 服务网格团队 https://zhaohuabing.com Service Mesh Service Mesh Layer 处理服务间通信（主要是七层通信）的云原生基础设施层： Service Mesh 将各个服务中原来使用 SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service 1 Istio 流量管理 – 概览 • 控制面下发流量规则： Pilot • 数据面标准协议：xDS • 集群内Pod流量出入： Sidecar Proxy • 集群外部流量入口：Ingress Gateway • 集群外部流量出口：Egress Gateway（可选,在一个集中点对外部访问进行控制） Service CLB 对外请求 对外请求（Passthrough/ServiceEntry） 缺省路由 （服务名） 5 Istio 流量管理 – 数据面 – Envoy配置模型和xDS协议 ADS Server LDS RDS CDS EDS Envoy 配置模型的主要概念： • Downstream：连接到 Envoy 的下游 Host，发送请求并接收响应。 • Upstream：

是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。 Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 Docker Inc。Redhat 已经在 其 RHEL6.5 ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。 注：doozer 则是一个 一致性分布式数据库。 注：Raft 是一套通过选举主节点来实现分布式系统一致性的算法，相比于大名鼎鼎 的 Paxos 算法，它的过程更容易被人理解，由 Stanford 大学的 Diego Ongaro 和 John Ousterhout 提出。 更多细节可以参考 raftconsensus.github.io。 name_PORT_num_protocol_PORT 暴露端口号，例如： DB_PORT_5432_TCP_PORT=5432 name_PORT_num_protocol_PROTO 协议（tcp 或 udp），例如： DB_PORT_5432_TCP_PROTO=tcp name_NAME 完整合格的容器名称，例如： DB_1_NAME=/myapp_web_1/myapp_db_1

dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目， 它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权 协议开源，主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会， 并成立推动 开放容器联盟（OCI）。 Docker 自开源后受到广泛的关注和讨论，至今其 GitHub docker-compose port [options] SERVICE PRIVATE_PORT 。 打印某个容器端口所映射的公共端口。 选项： --protocol=proto 指定端口协议，tcp（默认值）或者 udp。 --index=index 如果同一服务存在多个容器，指定命令对象容器的序号（默认为 1）。 ps 格式为 docker-compose ps [options] docker swarm leave 可以在工作节点执行）。一个 Swarm 集群可以有多个管理节 点，但只有一个管理节点可以成为 leader ， leader 通过 raft 协议实现。 工作节点是任务执行节点，管理节点将服务 ( service ) 下发至工作节点执行。管理节点默认 也作为工作节点。你也可以通过配置让服务只运行在管理节点。 来自 Docker 官网的

OPENSHIFT LOGGING 5.6 中支持的日志数据输出类型 7.8. 将日志转发到外部 ELASTICSEARCH 实例 7.9. 使用 FLUENTD 转发协议转发日志 7.10. 使用 SYSLOG 协议转发日志 7.11. 将日志转发到 AMAZON CLOUDWATCH 7.12. 将日志转发到 LOKI 7.13. 从特定项目转发应用程序日志 7.14. 从特定 POD OpenShift Container Platform 4.8 日志 日志记录 记录 14 1.9.1. 技术预览 重要 重要 向量只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支持，且 功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提 早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的详情，请参考 https://access 第 1 章 章 LOGGING 发 发行注 行注记 记 15 其他 其他资 资源 源 向量文档 重要 重要 Loki Operator 只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA） 支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以 使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。 有关红帽技术预览功能支持范围的详情，请参考 https://access

2010年前部署商用设备 前世 01 2010 开始网络代理白盒 化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 连接收编 All in 无线 03 PC时代 移动时代 万物互联云原生时代 2018 年协议，安全持续升 级（QUIC，MQTT，国密）， 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信协议，架构，安全再次升级（物联终端接入，QUIC协议，国密，可信计算， 海外加速，云原生）金融级三地五中心容灾架构（LDC） 单机房 LDC 同城双活 LDC 异地多活 Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应 用程序自己保证防重放攻击 Small Ticket •

目前常见数据面主要有三种：Envoy、Linkerd、Traefic。Envoy由于高性能和扩展能力前在数据面遥 遥领先。 • Iptables使Pod间出入应用的流量均由Envoy代理，对应用来说完全透明。支持主要常用网路协议 Http1/Http2/Tls/gRPC/Tcp等。 Copyright © Huawei Technologies Co., Ltd. All rights reserved. Page 6 建立长连接，通过xDS协议接收系统下发的监听器、路由、集群节点等更新信息。 • 3. 数据面通信 • 客户端请求进入容器网络，并被iptables规则拦截，经过DNAT后进入Envoy virtualOutbound监听器 • virtualOutbound经过监听过滤器恢复用于原始目标服务，并找到后端处理器处理新连接。 • 后端处理器在配置中指定处理协议，根据协议相关的网络过滤器处理读取到的数据。 到的数据。 • 如果为http协议，再经过请求过滤器处理http协议头部，如路由选择等功能并创建上游连接池 • 将修改及编码后的http消息通过网络发送到对端Envoy的容器网络。 • Iptables识别为入流量则进入virtualInbound端口。 • ORIGINAL_DST恢复原始目标后，根据virtualInbound配置的监听过滤器找到对应的本地服务器地址。并发起localhost的请求。

Aeraki - 在 Isito 服务网格中管理所有七层流量 ❏ Demo - Dubbo Traffic Management ❏ MetaProtocol - Service Mesh 通用七层协议框架 #IstioCon Protocols in a Typical Microservice Application Service Service Service Service Service Aeraki Configuration Example: Redis RedisServie RedisDestination #IstioCon Aeraki Demo: Dubbo 协议支持 ● Dubbo2Istio 连接 Dubbo 服务注册表，支持： ○ ZooKeeper ○ Nacos ○ Etcd ● Aeraki Dubbo Plugin 实现了控制面的管理，支持 #IstioCon What’s next？ 现阶段协议扩展方案面临的挑战： ● 在 Mesh 中支持一个七层协议的工作量较大： ○ 数据面：编写一个 Envoy filter 插件——流量管理（RDS、 负载均衡、熔断、流量镜像、故障注入等）、编解码 ○ 控制面：编写一个 Aeraki 插件——运维/流量管理策略 ● 非 HTTP 协议缺少 RDS 支持： ○ Listener 内嵌路由

您必须配置机器之间的网络连接，以允许 OpenShift Container Platform 集群组件进行通信。 查看有关所需网络端口的以下详细信息。 表 1.2. 用于全机器到所有机器通信的端口 协议 协议 端口 端口 描述 描述 ICMP N/A 网络可访问性测试 TCP 1936 指标 9000-9999 主机级别的服务，包括端口 9100-9101 上的节点导出器和端 口 9099 上的 Encapsulating Security Payload(ESP) 协议 协议 端口 端口 描述 描述 表 1.3. 用于所有机器控制平面通信的端口 协议 协议 端口 端口 描述 描述 TCP 6443 Kubernetes API 表 1.4. control plane 机器用于 control plane 机器通信的端口 协议 协议 端口 端口 描述 描述 TCP 2379-2380 etcd Container Platform 集群前，必须创建以下网络资源： 注意 注意 建议集群中的每个 OpenShift Container Platform 节点都可以访问可通过 DHCP 发现的网 络时间协议（NTP）服务器。没有 NTP 服务器也可安装。但是，异步服务器时钟将导致错 误，NTP 服务器会阻止。 所需的 IP 地址 安装程序置备的 vSphere 安装需要这些静态 IP 地址： API

⼼，ETCD
天然⽀持分布式、⾼可⽤，并且在
K8s
等领域有⼤量实践 经验，使得
API7
可以轻松⽀持毫秒级配置更新、⽀撑数千⽹关节点；⽹关节点⽆状态，可任意扩容或 缩容； 协议转换 3. ⽀持丰富的协议类型，如
TCP/UDP、Dubbo、MQTT、gRPC、SOAP、WebSocket
等；
安全防护 4. 内置多种⾝份验证与安全防护能⼒，如
Basic
Auth、JSON
请求中
Header、Query、Cookie
等参数进⾏分 流； • 协议转换：API7
⽀持丰富的协议，如
TCP/UDP、Dubbo、MQTT、gRPC、WebSocket
等，并能 够实现
HTTP
协议到后端服务其它协议的转换。API
⽹关对外暴露统⼀
HTTP
⼊⼝，管理员可通过 控制台界⾯完成协议转换设置，⽀持请求与后端服务的参数映射； • 服务治理：API7
⽀持熔断 4
功能列表
分类
功能模块
功能点
API7
Kon g
Zuul 2
Ngin x
Spring
Cloud
Gateway
API 和服 务治 理
协议⽀持
HTTP/1.1、HTTP
2
✔
✔
✔
✔
✔
HTTP/3
✔
✔
✖
✖
✔
TLS
/
HTTPS
✔
✔
✔
✔
✔
MQTT