MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、Tengine 开源项目核 心成员，目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang • WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、 Redis、Kafka etc），生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受，另外有优化 空间 扩展方案调研 MoE

� 准备Kubernetes集群 阿⾥里里云容器器服务Kubernetes 1.10.4⽬目前已经上线，可以通过容器器服务管理理控制台⾮非常⽅方便便地快速创建 Kubernetes 集群。具体过 程可以参考创建Kubernetes集群。 安装和设置kubectl客户端，请参考不不同的操作系统，如果已经安装完成请忽略略： macos 1 2 3 4 curl -LO https://kubectl oss-cn-hangzhou.aliyuncs.com/windows/kubectl.exe 放到系统PATH路路径下 1 kubectl --help 配置kubectl连接Kubernetes集群的配置，可参考⽂文档通过kubectl连接Kubernetes集群 示例例中⽤用到的⽂文件请参考： ⽂文件 ， Clone下载到本地，切换到⽬目录kubecon2018sh。 查看本⽂文件： https://github https://github.com/osswangxining/yunqi2018-workshop-istio/tree/master/kubecon2018sh (四）基于Istio on Kubernetes 云原⽣生应⽤用的最佳 实践 2018-11-09 � 部署Istio 打开容器器服务控制台，在左侧导航栏中选中集群，右侧点击更更多，在弹出的菜单中选中 部署Istio。 在打开的⻚页⾯面中可以看

Plugins⽣ 态⼒量 Crossplane优势 • Kubernetes：使⽤Kubernetes add-on 将集群打造为通⽤控制平⾯。 • 跨⼚商：⽀持多个⼚商基础设施资源 的管理· Terraform不⾜之处 • ⾯向业务应⽤不够友好。 • 云服务⽆跨⼚商规范标准。 Crossplane不⾜之处 • 概念复杂，扩展不易。 CNBaaS既需要Terraform IaC架构的简洁强⼤ CNBaaS Operator CNBaaS Controllers ServiceController | ComponentController CNBaaS Operator (Kubernetes AddOn) OwnerReference OwnerReference Invoke Plugin Runime 4.Build and adapt component 5. Apply 可基于Cue语法，声明服务基础信息 以及组件扩展信息，支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求 需求自适配 需求自适配 On Premise On VPC eg. Kube DB • Chart Version选择 • Chart Values自适配 Helm Chart 云资源规格精准过滤匹配 交付资源生产 Cross-Vendor 组件列表推荐 插件生态与运行时扩展 服务插件扩展体系

开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有的安全体系也产生了变革。主要表现在如下几个方 面：  防护对象产生变化 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 同样会面临容器及容器镜像的安全风险。在针对编排工具的攻击一节，我们重点 介绍编排工具本身存在的安全风险。目前，常见的开源编排工具包括 k8s[10]、 OpenShift[11]等，其中 k8s 在功能性、通用性以及扩展性方便表现良好，同时 具有较强的社区支持，使其得到广泛的应用。图 8 以 k8s 为例展示了编排工具 的架构，以及攻击者可能对编排工具进行攻击的方式 云原生安全威胁分析与能力建设白皮书 27 展示了微服务场景下可能存在的攻击类型。 图 9 针对微服务进行攻击的路径分析 2.5.1API 攻击 API 是一种计算接口，定义了软件之间的数据交互方式、功能类型。随着互 联网的普及和发展，API 从早期的软件内部调用的接口，扩展到互联网上对外提 供服务的接口。调用者通过调用 API，可以获取接口提供的各项服务，而无须访 云原生安全威胁分析与能力建设白皮书 31 问源码，也无须理解内部工作机制的细节。针对微服务 API

个人主页：https://ulricqin.github.io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 了托管服务，这就意味着，服务端组件的可用性保障交 给云厂商来做了，客户主要关注工作负载节点的监控即 可。如果公司上云了，建议采用这种托管方式，不要自 行搭建 Kubernetes，毕竟，复杂度真的很高，特别是 后面还要涉及到升级维护的问题。既然负载节点更重要， 我们讲解监控就从工作负载节点开始。 Kubernetes 所在宿主 的监控

。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU, 昇腾，昆仑等。 Volcano Global Kubernetes Volcano-controller Volcano-scheduler Kubernetes Volcano-controller Volcano-scheduler 100用户，年增长率8.1%； • DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 - 公平调度 - 抢占 - …… More k8s native resource support • 首个Batch调度器 ü 2022年Volcano成为Spark on kubernetes的首个 batch调度器 ü 1.5K Pod/s 的大规模批量任务调度能力 Spark基于Volcano的用法 1. Specify custom scheduler 2. Specify

制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下（如公有云、私有云 和混合云）构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by Chart和外部高可用服务（数据库，缓存和存储）部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster User Defined Namespace Operator Namespace(s) CR: HarborCluster CR: Harbor CR: Postgresql 插件式扫描器框架 DoSec P2P引擎 • 标准化Adapter接口定义 制品类型 • 遵循OCI规范 • annotation化的数据扩展 • UI自动渲染扩展数据 路线图 管理 分发 扩展性 Interrogation Service++(探针) Observability K8s Operator 1 2 3 来源: https://github

云原生时代的应用与发布挑战 01 KubeVela 简介 02 KubeVela 中的渐进式发布实践 03 云原生时代，应用是怎 么样的？ 以 K8s 资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs K8s-sigs 的 Application 1. 只描述了应用产品元数据， 研发、运维无从入手。 2. 无人维护、缺乏活跃度。 3. 信息不足以对接发布。 kubernetes-sigs/application 几乎成为事实标准的应用打包工具 helm 1. 黑盒，不明确内部有哪些 资源。 2. 无法使用/对接云资源。 3. 发布能力缺失，使用 helm upgrade 没有灰度 具备全部发布能力 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela？ KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 • 基于 Kubernetes 和 OAM 模型构建 • 纯 Golang 编写 • 社区发起，社区构建 • 正式发布第 4 天，登顶趋势榜首 应用 平台团队 Canary Autoscale Route

率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。

Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • thrift， kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合，各取所长