蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案，创新采用了 eBPF datapath，为 kubernetes网络和 linux 社区的 eBPF 发展，启动了 最要的推动作用。 最要的推动作用。 截止 2021.10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现： • 不同场景下，不同程度地降低了 网络数据包的“转发延时” • 不同场景下，不同程度地提升了 网络数据包的“吞吐量” • 不同场景下，不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux

化、轻量级容器、LibOS、可信执行环境（TEE）、异构部署等多种实现形态。不 同的形态有各自的特点： 1. 裸金属：基于 openAMP 实现裸金属混合部署方案，支持外设分区管理，性能最好，但隔离性和灵活性较差。目前支持 UniProton/Zephyr/RT-Thread 和 openEuler Embedded Linux 混合部署。 系统架构图 南向生态 嵌入式弹性虚拟化底座 OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文件系统、网络服务，实时操作系统提供实时控制、 实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上有机融合在一起的一系列机制，包括资源表达与分配，统一 构建等功能。 混合关键性部署框架当前能力： 侧远程调试。 • 支持 890+ POSIX 接口，支持文件系统、设备管理、shell 控制台、网络。 openEuler Embedded 可广泛应用于工业控制、机器人控制、电力控制、航空航天、汽车及医疗等领域。 应用场景 2. 分区虚拟化：基于 Jailhouse 实现工业级硬件分区虚拟化方案，性能和隔离性较好，但灵活性较差。目前支持 UniProton/ Zephyr/FreeRTOS 和

边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge，集成 KubeEdge Sedna (Cloud) Global- Manager Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore 制。与 PA 结合使用减少控制流攻击。 • XDP（eXpress Data Path）支持：基于 ebpf 的一种高性能、用户可编程的网络数据包传输路径，在网络报文还未 进入网络协议栈之前就对数据进行处理，提升网络性能。可用于 DDOS 防御、防火墙、网络 QOS 等场景。 • SVA（Shared Virtual Addressing）支持：进程虚拟地址在主机进程和设备间共享，实现资源跨主机与设备免拷

虚拟化平台。 私有云平台 部署在企业内部仅供企业内部使用的云平台。私有云平台基础架 构平台发展即虚拟化平台之后的更先进的私有基础架构平台，以 OpenStack 为代表，相比虚拟化平台，提供了网络、安全组等 开箱即用在线服务管理能力和工具。一些私有云平台如青云，还 提供 RDS、负载均衡服务。常见私有云: OpenStack、华为 HCS、 HSC Online、青云、EasyStack 超融合基础架构（Hyper Converged Infrastructure，或简称 “HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存 储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技 术、重复数据删除、在线数据压缩等元素，而多套单元设备可以 通过网络聚合起来，实现模块化的无缝横向扩展（scale-out）， 形成统一的资源池。比较知名常见的超融合平台有 Nutanix、戴 尔的 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的 虚拟机、操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、 RDS、对象存储、DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、 运行在一个完全隔离环境中的完整计算机系统。在实体计算机中 能够完成的工作在虚拟机中都能够实现。 云磁盘 云硬盘（Elastic

按组织工作空间查看虚拟机......................................................................... 111 6.3.7 按云平台云账号地域网络逐级查看虚拟机................................................. 112 7 服务目录及产品管理配置........................ 添加应用商店 Jenkins 产品.........................................................................208 8 部署资源池网络分配策略管理.............................................................................................214 ........................................................................................230 8.3.4 网络管理.................................................................................................

处理，增强资 源的局部性；当业务负载高时，突破 preferred cpus 范围限制，通过增加 CPU 核的供给提高业务的 QoS。 • CPU QoS 优先级负载均衡特性：在离线混部 CPU QoS 隔离增强，支持多核 CPU QoS 负载均衡，进一步降低离线业 务 QoS 干扰。 • SMT 驱离优先级反转特性：解决混部 SMT 驱离特性的优先级反转问题，减少离线任务对在线任务 QoS 的影响。 系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug 行的一系列技术的集合，包含了裸金属、嵌入式虚拟化、轻量级容器、LibOS、可信执行环境（TEE）、异构部署等多种实 现形态。不同的形态有各自的特点，例如裸金属可以得到最佳的性能、嵌入式虚拟化可以实现更好的隔离与保护、轻量级 容器则有更好的易用性与灵活性等等。 功能描述 维测 MICA ( 混合关键性部署框架 ) 应用领域 硬件 分布式软总线 欧 拉 生 态 + 鸿 蒙 生 态

服务目录及产品管理...................................................................................32 2.4.7 部署资源池及网络分配管理........................................................................36 2.4.8 流程配额管理....... 解放了一半工作时间精力。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 9 1.3.3 简化流程，降低协作沟通成本，缩短交付时间 数据中心内部通常由不同的人、小组、部门负责系统、网络、安全，并且各个部门小组 使用独立的运维管理工具，在部署运行环境时，需要资源申请使用部门向其他各个小组申请 配合协作部署资源、申请 IP 地址、将资源信息同步加入到 CMDB、堡垒机、应用部署平台 、树根 互联、海康威视、旺旺、大华、中控技术、长鑫存储、中国中冶、扬子 江药业、泰格医药、中国烟草、OPPO、立白、美的、无限极、深圳联 友、TCL、致欧家具、上海烟草 软件开发(4) 用友网络、爱数科技、容联七陌、同望科技 交通物流(12) 中航结算、中远海运、兰州朗青、苏州公交集团、远成物流、西安铁路 局、亿通国际、江苏省交通厅、浦东机场、南京地铁、广州交通信息、 厦门航空 能源资源(15)

内核提供软实时能力，软实时中断响应时延微秒级。 4. 嵌入式弹性虚拟化底座：提供多种虚拟化方案，满足用户不同硬件和业务场景需要： • baremetal：基于 openAMP 实现裸金属混合部署方案，支持外设分区管理，性能最好，但隔离性和灵活性较差。目 前支持 UniProton/Zephyr/RT-Thread 和 openEuler 嵌入式 Linux 混合部署。 功能描述 南向生态 QEMU ARM RISC-V 龙芯 疗等领域。 应用场景 • 分区虚拟化：基于 Jailhouse 实现工业级硬件分区虚拟化方案，性能和隔离性较好，但灵活性较差。目前支持 FreeRTOS 和 openEuler 嵌入式 Linux 混合部署。 • 实时虚拟化：openEuler 社区自研虚拟化方案，兼顾性能、隔离性和灵活性，综合最优。目前支持 Zephyr 和 openEuler 嵌入式 Linux 混合部署。 5 创新特性： • SMT 驱离优先级反转特性：解决混部 SMT 驱离特性的优先级反转问题，减少离线任务对在线任务 QoS 的影响。 • CPU QoS 优先级负载均衡特性：在线、离线混部 CPU QoS 隔离增强 , 支持多核 CPU QoS 负载均衡，进一步降低离线 业务 QoS 干扰。 • 潮汐 affinity 调度特性：感知业务负载动态调整业务 CPU 亲和性，当业务负载低时使用 prefered

openEuler 21.09 技术白皮书 10 openEuler 内核中的新特性 openEuler 21.09 基于 Linux Kernel 5.10 内核构建 , 在进程调度、内存管理、网络等方面带来 12 处如下创新： 01 02 03 04 05 06 07 08 09 10 11 12 进程调度优化：优化进程负载均衡算法， 减少负载均衡过程中的开销，提升性能； PA 结合使用 减少控制流攻击。 XDP（eXpress Data Path）支持：基于 ebpf 的 一种高性能、用户可编程的网络数据包传输路径， 在网络报文还未进入网络协议栈之前就对数据进行 处理，提升网络性能。可用于 DDOS 防御、防火墙、 网络 QOS 等场景。 SVA （Shared Virtual Addressing) 支持： 进程虚拟地址在主机进程和设备间共享，实 Linux Kernel cgroup 容器和虚机混部 虚机和虚机混部 CPU 调度 内存管理 Cache QOS 网络 QOS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 openEuler 21.09 技术白皮书 15 功能描述 1. 全局管理器 O

策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 机制，带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU 隔离机制增强：支持中断隔离，支持 unbound kthreads 隔离，增强 CPU 核的隔离性， 可以更好的避免业务间的相互干扰。 3. 进程间通信优化：pipe_wait、epoll_wait 唤醒机 制优化，解决唤醒多个等待线程的性能问题。 优化单线程迁移性能：消除对 Thread Group 读写信号量的依赖；引入 Time Namespace 方便容器迁移。 6. 系统容器支持对容器内使用文件句柄数进行限制： 文件句柄包括普通文件句柄和网络套接字。启动 容器时，可以通过指定 --files-limit 参数限制容器 内打开的最大句柄数。 7. 支持 PSI ：提供了一种评估系统资源 CPU、内存、 数据读写压力的方法。准确的检测方法可以帮资 通过各种互补 的服务提供各种 IaaS 服务的解决方案，每个服务通过 API 进行集成。 OpenStack Victoria 是 2020 年 OpenStack 社区最新稳定发布版本，包含计算、存储、网络、PaaS、安全、集群管理 等多个模块。已经完成 Nova、Keystone、Neutron、Glance、Ironic、Horizon 几个模块对 openEuler 的适配。 OpenStack