North-South Load Balancing of Kubernetes Services with eBPF/XDP Martynas Pumputis (Isovalent) October 28, 2020 10.0.0.1 10.0.0.2 10.0.0.3 httpd httpd “httpd” service 10.0.0.1:30000 10.0.0.2:30000 KUBE-FORWARD -m comment --comment "kubernetes forwarding rules" -m mark --mark 0x4000/0x4000 -j ACCEPT -A KUBE-FORWARD -s 10.217.0.0/16 -m comment --comment "kubernetes forwarding conntrack pod source rule" --ctstate RELATED,ESTABLISHED -j ACCEPT -A KUBE-FORWARD -d 10.217.0.0/16 -m comment --comment "kubernetes forwarding conntrack pod destination rule" -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是 openEuler 全新发布后的第一个社区版本，实现了 力，从而不断孵化 新技术。发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 X86、ARM、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持， 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、 ros-core、ros- base、SLAM 等核心软件包，满足 ROS2 运行时要求。未来 openEuler Embedded 将协同 openEuler 社区生态伙伴、用户、 开发者，逐步扩展支持 RISC-V、龙芯等芯片架构，丰富工业中间件、ROS 中间件、仿真系统等能力，打造嵌入式领域操作 系统解决方案。 嵌入式 版本功能如下： 1. 轻量化能力：开放 yocto 小型化构建裁剪框架，支撑

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 并在内核方向实现内核热升级、内存分级 扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是openEuler全新发布后的第一个社区版本，实现了全场景支持。 LTS SP4 版本，其作为 20.03 LTS 版本的增强扩展版本，面向服务器、云原生、 边缘计算场景，提供更多新特性和功能增强。 2023 年 12 月 30 日，发布 openEuler 22.03 LTS SP3 版本，是 22.03 LTS 版本增强扩展版本，面向服务器、云原生、边缘计 算和嵌入式场景，持续提供更多新特性和功能扩展，给开发者和用户带来全新的体验，服务更多的领域和更多的用户。 力，从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、

志性的事件。 2021 年 3 月 31 日，openEuler 21.03 创新版如期而至，该版本不仅将内核切换到 Linux Kernel 5.10, 还在内核方向实 现内核热升级、内存分层扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 openEuler 作为一个发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。 openEuler 等组件。 创新架构，全栈优化，打造全场景协同的 One OS，充分释放多样性算力。 IDE 自调优工具 A-Tune 测试平台 Compass-CI 工具链 OpenStack Kubernetes 麒麟HA 集群调度 和管理 CPU: X86、Arm、RISC-V GPU NPU 芯片 APPS 虚拟化 容器 QEMU Docker libvirt 虚拟化/ 容器 StratoVirt Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 • 内核热升级：内核漏洞快速修复，业务不感知。 构筑云化基座： • iSula：iSulad

03 openEuler 22.03-LTS 技术白皮书 02 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构，未来还会扩展 PowerPC 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10 , 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降

01.网络加速 From:https://istio.io/latest/zh/blog/2022/merbridge/ eBPF 的可编程能力使其能够内核中完成包的处理和转发，而且可以添加额外扩展能力。 观测和跟踪 将 eBPF 程序附加到跟踪点以及内核和用户应用探针点的能力，使得应用程序和系统本身的 运行时行为具有前所未有的可见性 From:https://juejin.cn/pos 挑战1：微服务、多语言、多协议环境下，端到端观测 复杂度上升，埋点成本居高不下 Kubernetes 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server 内核异常：进程调度， 内存管理，文件管理， 夯机宕机，资源异 常… 应用组件异常：线程池满，数据库连接无法获取， OOM，文件读取错误… 无法自顶向下端到端 串联导致棘手问题频 发。 Kubernetes下的可观测 Golang + eBPF实现数据采 集 第四部分 eBPF在可观测领域的优势 无侵入 多语言/多协议/多框架 全栈覆盖 无侵入性 • 无需修改代码 • 无需重启应用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6.1.2 浏览器扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 . . . . . . . . . . . . 158 9.6.13 通过 LVM 扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.6.14 通过挂载另一个分区来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . 通过“mount --bind”挂载另一个目录来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . 159 9.6.16 通过 overlay 挂载（overlay-mounting）另一个目录来扩展可用存储空间 . . . . . . . . . . . . . . . 159 9.6.17 使用符号链接扩展可用存储空间 . . . . . . .

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持 ，从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 X86、ARM、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持， 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 的可编程调度框架，支持内核调度器动态扩展调度策略，以满足不同负载的性能需求，具备 以下特点： （1） 标签管理机制：开放对任务和任务组进行标签标记的能力，用户和内核子系统可通过接口对特定工作负载进行 标记，调度器通过标签可以感知特定工作负载的任务。 （2） 抢占、选核、选任务等功能点的策略扩展：可编程调度框架支持 CFS 调度类抢占、选核、选任务等功能的策略扩展， 提供精心设计的扩展点和丰富的辅助方法，帮助用户简单，高效的扩展策略。

技术白皮书 03 openEuler 22.09 技术白皮书 02 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构，未来还会扩展 PowerPC 等更多芯片架构支持，持续完善 多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、内存 分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间，提 升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于内 核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 增强 22.09 23.03 openEuler 21.09 技术白皮书 03 openEuler 覆盖全场景的创新平台 openEuler 已支持 X86、Arm、RISC-V 多处理器架构，未来还会扩展 PowerPC、SW64 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于