MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、Tengine 开源项目核 心成员，目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang 背景介绍 — 什么是 MoE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MoE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 跨语言语言支持（C/C++/Rust）、 隔离性、安全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好， 对 GoLang Runtime 还未完全支持； 不能复用已有的 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server

传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 在统一的K8s管理面下， 通过一种代理容器(内置 了管理虚拟机的逻辑） 来启动虚拟化Pod， 此时可以同时在统一的 容器云平台下运行微服 务化容器化或者未容器 化的传统软件了； 另一个方向是，将底层计 算、存储和网络进行超融 合，提供极其简单的底层 运维能力，进一步简化云 原生+资源层整体运维和 提升资源利用质量。 标准化能力-按需调度-Serverless 业务价值 架构 • 彻底消除传统服务端基础设施依赖，降低研发复杂性和运维难度 Servers Storage NetWorking PaaS BpmPaas iPaas MFT Paas Baas Container Service RDS Service Cache|MQ Service Big Data Service aPaas 专业PaaS(2B) 技术Paas(2D) IaaS+ • Paas可以看做是从应用角度管理资源的平台 • Paas可以看做是应用运行态稳定性保障的平台

1 云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 .................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.4 路径 2 云原生运行时安全................................................................................56 4.2.3 网络微隔离........................................................................................... 58 4

可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、 Tengine 开源项目核心成员，目前专注于云原生 ServiceMesh、 Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研，到产品孵化，历经重重困难，最终通过双 11 规模化验证。借力开源、反哺开 源，进行 Cloud Native 生态融合，在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape 2019年双11 2019年12月 2020年6月 2020年7月 2020年12月 2021年 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位：云原生网络代理平台 开源理念  社区是开源软件发展的动力  借力开源，反哺开源  持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate

© 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 云原生应用可观测性实践 向阳 @ 云杉网络 2021-12-08 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 解决团队耦合的问题 —— 革命的思路 从SDN到第5层网络 行云流水@车联网云平台技术 2021-09-20 观测 simplify the growing complexity © 2021, YUNSHAN Networks Technology == 监控入口 Datadog Universal Service Monitoring 要点： 1、Alerts and SLOs for every service 2、No code changes required 3、Faster troubleshooting with a unified platform 4、No service left behind 50亿$ 200亿$ 500亿$

Networks Technology Co., Ltd. All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing complexity Metrics与「非Aggregatable」的Log 例如：QPS降低与进程、服务器的日志有关联吗？ ③ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ ④ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ⑤「非Request

企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时，不仅带来了全新的安全场景，也成为网络安全攻防 当中的利器;2020年井喷的远程办公，拷问传统安全边界防线，让“零信任”这一有着十年历史的理念再次受到关注，成为企业构建后疫情时代安全体系 的基石;云上原生的安全能力让成本、效率、安全可以 动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案， 克服了Calico SDN安全和性能方面的不足 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全，端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。 • 通过跨域数据同步能力，实现多地域数据多活。

度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor increase(container_cpu_cfs_throttled_periods_tota l[1m]) / increase(container_cpu_cfs_periods_total[1m]) * 100 Pod网络出入向流量 irate(container_network_transmit_bytes_total[1m]) * 8 irate(container_network_receive_bytes_total[1m])

参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下（如公有云、私有云 和混合云）构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by CNCF 容器-更轻量级和灵活的虚拟化 镜像-应用软件打包与分发 OCI: https://opencontainers.org/ arbor， 更多上游仓库的支持正在进行中（与复制共享 同样的仓库适配器） 注: 可有效解决Dockerhub 限速的问题 制品的高效分发-P2P预热 • 将所选镜像提前分发到(加热)P2P网络以便客户端拉取内容时从P2P网 络直接获得 • 基于策略实现自动化 • Repository过滤器 • Tag过滤器 • 标签（label）过滤器 • 漏洞状态条件 • 签名状态条件 • 基于事件触发或者定时触发 Resources K8s Resources K8s Resources K8s Resources K8s Resources Database Service Cache Service Storage Service 构建高可用(HA)仓库服务 [4] 多数据中心HA部署 与Harbor集成 Restful API • 完善的API • 遵循OpenAPI规范 •

迟）。 分布式数据库使用的约束： 4.数据库网格 4.数据库网格 Service Mesh 是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服 务拓扑，Service Mesh 保证请求可以在这些拓扑中可靠地穿梭。在实际应用当中， Service Mesh 通常是由一系列轻量级的网络代理组成的，它们与应用程序部署在一 起，但应用程序不需要知道它们的存在。 -- Willian