绕过conntrack，使用eBPF增强 IPVS优化K8s网络性能

• 语言: 中文（简体）
• 格式: .pptx
• 来源: github.com/baiyutang

摘要

本文探讨了通过eBPF增强IPVS以优化Kubernetes服务网络性能的方法。文档详细介绍了如何绕过conntrack和iptables，利用eBPF实现更高效、更安全的SNAT（源网络地址转换）。通过对比eBPF与传统IPV5 SNAT补丁的优劣，提出了在K8s服务中结合eBPF和IPVS的优化方案。文章还讨论了性能测试的关键点，包括如何避免CPU超卖、如何设计测试环境以确保负载均衡性能，并提出了未来工作的方向。

AI总结

### 文档总结

本文主要讨论了如何通过增强IPVS（IP Virtual Server）并结合eBPF（Extensible BPF），优化Kubernetes（K8s）集群的网络性能，特别是绕过传统的`conntrack`和`iptables`机制，提升服务的性能和效率。

#### 核心观点和关键信息

1. **问题背景**
- K8s服务通过VIP（虚拟IP）使用负载均衡器暴露一组Pod，主要模式包括`ClusterIP`（集群内访问）和`NodePort`（集群外访问）。
- 基于iptables的IPVS模式存在性能瓶颈，主要原因是`conntrack`和iptables的规则处理效率低下，尤其是在高负载场景下。

2. **优化思路**
- **eBPF的优势**：
- eBPF是一种高效、安全的替代方案，能够 bypass `conntrack`和`iptables`，减少对内核的修改。
- 通过eBPF实现SNAT（源网络地址转换），避免了传统iptables的复杂性。
- 提供更低的性能开销，提升数据包处理效率。
- **IPVS模式优化**：
- 利用eBPF实现高效的负载均衡，避免`conntrack`的性能损耗。
- eBPF程序通过TC（Traffic Control）hook实现SNAT，简化了数据路径。

3. **性能对比与测试**
- **性能测试建议**：
- 在相同配置的集群中进行测试，确保结果一致性。
- 通过调整CPU和负载均衡器（LB）的性能，使其成为瓶颈，测试其处理能力。
- 示例：1个CPU可处理50万PPS（每秒包数）。
- **性能差异原因**：
- 不同时间窗口下的集群性能可能因负载波动而变化。
- CPU资源的超售可能导致性能下降。

4. **与行业对比**
- 与纯eBPF实现相比，本文方案复用了IPVS的成熟功能和丰富的调度算法。
- 与淘宝的IPVS SNAT补丁相比，本文方案修改内核的代码量更少，性能更优。

5. **未来工作**
- 扩展eBPF map的应用场景，优化其性能。
- 改进调度算法，提升控制平面和数据平面的效率。

#### 总结
本文提出了一种通过eBPF增强IPVS的优化方案，绕过传统的`conntrack`和`iptables`机制，显著提升了K8s服务的网络性能。该方案具有高效、安全、易于部署的特点，特别适用于高负载场景。同时，本文还提供了性能测试的建议和未来优化的方向。