MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、Tengine 开源项目核 心成员，目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang • WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、 Redis、Kafka etc），生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受，另外有优化 空间 扩展方案调研 MoE

.................................................................................. 28 2.4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击...... 开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有的安全体系也产生了变革。主要表现在如下几个方 面：  防护对象产生变化 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 和 OT 融合的全互联、扁平化、灵活化的工业 云原生安全威胁分析与能力建设白皮书 18 网络体系结构是工业网络发展的必然趋势，工业互联网连接了 IT 和 OT 环境， 如果一个恶意的容器应用能横向渗透到 OT，则可能会威胁整个工业互联网体系 的安全。 云原生安全威胁分析与能力建设白皮书 19 二、云原生关键技术威胁全景 随着云原生技术的广泛应用，容器化基础设施、容器编排平台以及云原生应

率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。

7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展，技术部⻔的组织架构在横向及纵向不断扩⼤和调整，与此同时，企业的⽣产资料：应 ⽤系统，也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整，梳理组织架构对于应⽤权责的边 界，⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分，使得应⽤系统的维护边界适配组织架 构的权责边界。 ⼀般来说，越庞⼤的组织架构，应⽤系统会被

应用透明，全局管理视角，细粒度安全策略 Check&Report机制影响通信性能，并只涉及到服务 通信级别的安全，对node没有防护 Calico零信任 主要针对Node层的访问控制，可以让攻击者难以横向移动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案，

Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • thrift， kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合，各取所长

制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下（如公有云、私有云 和混合云）构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by 插件式扫描器框架 DoSec P2P引擎 • 标准化Adapter接口定义 制品类型 • 遵循OCI规范 • annotation化的数据扩展 • UI自动渲染扩展数据 路线图 管理 分发 扩展性 Interrogation Service++(探针) Observability K8s Operator 1 2 3 来源: https://github

将集群打造为通⽤控制平⾯。 • 跨⼚商：⽀持多个⼚商基础设施资源 的管理· Terraform不⾜之处 • ⾯向业务应⽤不够友好。 • 云服务⽆跨⼚商规范标准。 Crossplane不⾜之处 • 概念复杂，扩展不易。 CNBaaS既需要Terraform IaC架构的简洁强⼤ 还需要有Crossplane跨⼚商的特性 CNBaaS is better CNBaaS Cross Vendor IaC 可基于Cue语法，声明服务基础信息 以及组件扩展信息，支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求 需求自适配 需求自适配 On Premise On VPC eg. Kube DB • Chart Version选择 • Chart Values自适配 Helm Chart 云资源规格精准过滤匹配 交付资源生产 Cross-Vendor 组件列表推荐 插件生态与运行时扩展 服务插件扩展体系 服务插件扩展体系 服务 组件 规格 运行时 mysql redis alilcoud kubedb aws 云资源规格 OpenAPI 组件版本配置 Terraform 通用服务schema定义 服务版本管理 面向组件Vendor Schema定义 组件注册 CNBaaS 统一服务目录 Helm CNBaaS Engine根据组件 支持的运行时动态调度 云资源生产

rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 调用关系 知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 调用关系 知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 DeepFlow 采集POD (HostNet) DaemonSet • 零干扰：无需对vSwitch和Node做任何配置、不监听任何端口 • 全自动：DaemonSet POD部署运行，随K8s自动扩展 • 零侵入：不侵入业务POD，可采集所有业务POD及本Node流量 虚拟化 - KVM 业务VM 业务VM 业务VM vSwitch / Bridge DeepFlow 采集器进程 • 零干扰：

弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离：开发者关注应用本身，运维人员关注模块化运维 能力，让应用管理变得更轻松、应用交付变得更可控； • 平台无关与高可扩展：应用定义与平台层实现解耦，应用描述 支持任意扩展和跨环境实现； • 模块化应用运维特征：可以自由组合和支持模块化实现的运维 特征描述。 • Components：在 OAM 中，“应用”是由多个概念共同组合而成。第一个概念是： 应用运行所依赖的服务：比如 MySQL 数据库，也包括应用服务本身：比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征，比如应用的水平扩展的策略和 Ingress 规则，它们在不同的部署环境里却往往有着截然不同的实现方式。 举一 个例子，同样是 Ingress，它在公有云上和本地数据中心的实现完全不同：前者 一般是 SLB 这样的云