MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、Tengine 开源项目核 心成员，目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang 在 Service Mesh 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 维护成本高 • Envoy C++ 编写，对于 extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库（SDK）相对较少

开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有的安全体系也产生了变革。主要表现在如下几个方 面：  防护对象产生变化 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 云服务商、安全企业提供的产品及服务的能力水平。 7 云原生应用保 护平台 （CNAPP）能 力要求 由中国信息通信研究院牵头编写，为了云原生应用保护平台（CNAPP）的 框架并对每个功能模块提出了能力要求，内容包含制品管理、基础设施配置 管理、运行时保护、双向反馈机制与环境适配能力，覆盖云原生应用的开发 运营全流程，适用于指导企业云原生应用运维保护能力建设，规范和测评云 原生应用保护产品质量 内核漏 洞产生，就需要考虑它是否能够用于容器逃逸。 危险配置导致的容器逃逸：Docker 容器基于 Linux 内核中的 Capabilities 特性划分特权集，以便进程可以只分配“执行特定功能”的特权，例如通过使用 privileged 参数获得所有特权集，使用 cap-add 和 cap-drop 参数增减特权集。 然而，无论是细粒度权限控制还是其他安全机制，用户都可以通过修改容器环境

Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 • 支持 ZK，Nacos 等 • 支持 Dubbo 3.0 • MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为 其数据面 Sidecar 之一 ，用于解决传统服务治 理体系下的痛点如：多语言中间件组件开发适配

云原生学院 第 22 期 云原生产品与架构系列：第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日（周三）晚8点-9 点 高磊 主 办 方 ： 互 动 平 台 ： 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例

核心价值 核心能力 灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导，融合瀑布式管理需求， 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品，提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 与CI/CD流水线集成，常态化检测，研发自行修复 IAST扫描结果提供DevSecOps常态化安全运营指标 通过将IAST集成到CI/CD流水线，在测试环境的构建过程中自动部署IAST检测逻辑，可以实现与功能测试同步进行的自动化 安全测试，给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案，配置IAST中的自定义规 则，基于IAST的扫描结果可以实现安全需求设计的闭环管 污点变量4 污点变量b 变量c 污点变量2 变量1 | 污点标记 无害处理 识别污点源 污点传播 污点汇聚点 污点传播阶段 污染过程 处理过程 变量2 污点变量3 如果程序在对输入变 量处理过程中，没有做 好过滤和验证措施，就 有可能导致有害的输入 被传入sink点执行 污点数据是指来自程 序外部的数据，污点数 据有可能包含恶意的攻 击数据 安全测试-镜像扫描 由

制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下（如公有云、私有云 和混合云）构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by 下载* 5K+ *: 数据周期10/02-10/16 (2周) 初识Harbor [2] – 社区 初识Harbor [3] – 整体架构 截止：v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 插件式扫描器框架 DoSec P2P引擎 • 标准化Adapter接口定义 制品类型 • 遵循OCI规范 • annotation化的数据扩展 • UI自动渲染扩展数据 路线图 管理 分发 扩展性 Interrogation Service++(探针) Observability K8s Operator 1 2 3 来源: https://github

整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档，需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置：在硬件上安装软件，不乏 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和 应用与遗留系统的集成，比如，监控、 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离：开发者关注应用本身，运维人员关注模块化运维 能力，让应用管理变得更轻松、应用交付变得更可控； • 平台无关与高可扩展：应用定义与平台层实现解耦，应用描述 支持任意扩展和跨环境实现； • 模块化应用运维特征：可以自由组合和支持模块化实现的运维 特征描述。 • Components：在

•要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 • node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker apiserver 的耗时分布，histogram类型，按照 url + verb 统计 • scheduler_framework_extension_point_duration_s econds 调度框架的扩展点延迟分布，按 extension_point 统计 • scheduler_pending_pods 调度 pending 的 pod 数量，按照 queue type 分别统计 • schedul

consul命令行 ● advertise：广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下，-bind通告地 。但是，在某些情况下，可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由，则该节点将处于恒定的振荡状态，因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中，可以将其设置为 go-sockaddr 模板。 ● -advertise- 的详细信息，请参阅“ 配置 件”部分。 ● config-format：要加载的配置文件的格式。通常，Consul会从“.json”或“.hcl”扩展名中检测 置文件的格式。将此选项设置为“json”或“hcl”会强制Consul解释具有或不具有扩展名的任何文 ，以便以该格式进行解释。 原文链接：consul 命令行 ● data-dir：此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 升级时设置。您可以通过运 查看Consul支持的协议版本consul -v。 ● -raft-protocol：这控制用于服务器通信的Raft共识协议的内部版本。必须将其设置为3才能访问自 驾驶仪功能，但会有例外cleanup_dead_servers。Consul 1.0.0及更高版本默认为3（默认为2之前） 有关 详细信息，请参阅 Raft协议版本兼容性。 ● -raft-snapshot

运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 迭代历程 2017～2019 • 基于Helm包管理 • K8S java 客户端 • CI/CD流程耦合 replica 数量的逻辑 反思 • 新增一个无关的（HPA，Sidecar）功能都需要 Controller 适配是否合理？ • 新增一个公有云类型都需要修改 Controller 是否合理？ • 当新的需求来临应该怎么扩展？ …… 需求 需求： • 最好能兼容现在的逻辑（Helm 发布） • 方便扩展 • 高级特性 …… 社区的力量 https://github.com/