(kenieevan@github) Zhiguohong (honkiko@github) Bypassing conntrack: Optimizing K8s Service By Enhancing IPVS with eBPF Agenda 目录 01 Problems with K8s Service How to optimize 02 Comparison with industry provides in-cluster access • NodePort provides out-of-cluster access • Major modes • Iptables • IPVS Iptables mode • How it works • DNAT at PREROUTING chain • SNAT at POSTROUTING chain • Pros • • Poor in scheduling algorithm • Iptables rules are difficult to debug IPVS mode • Services are organized in hash table • IPVS DNAT • conntrack/iptables SNAT • Pros • O(1) time complexity in control/data

iptables rule 不容易调试 IPVS mode • 使用hashtable 管理service • IPVS 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf pre-routing 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id 传给IPVS内核模块 • 在ip_vs_new_conn 时，插入eBPF

Github: @m1093782566 Kubernetes�Service�� Iptables��Service���� ��Iptables������� IPVS��Service���� Iptables vs. IPVS Kubernetes�Service ����onl��a�o� - ��������������t� - ���������� - �����IP�n������� Pod Pod Pod Pod Pod Kubernetes�Service�� Iptables��Service���� ��iptables������� IPVS��Service���� Iptables vs. IPVS Iptables�:�� • �������������Netfilter���� Xtables ����linux������ ��E��Iptables��� ��)�)��� 1 2 3 4 Kubernetes�Service�� Iptables��Service���� ��iptables������� IPVS��Service���� Iptables vs. IPVS Iptables�������� • �B������ KUBE-SERVICES������KUBE-SVC-*������service���������

t # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <ipvs模式 # kubectl edit cm kube-proxy -n kube-system #编辑configMap 找到kind: KubeProxyConfigura�on这行往下第2行的mode: ""，在""里写入ipvs， 保存退出 （要求在做准备工作时已加载ipvs内核模块） 再删除kube-proxy的所有pod（即重启这些pod） pod # kubectl -n kube-system delete pod kube-proxy-rssd7 #删除pod 开启了ipvs模式的k8s结点上执行ip addr命令会看到名为kube-ipvs0的接口名 ⑥部署flannel网络插件 flannel只是pod容器网络的一种实现方式，还可使用calico，canal等其他网络方 案，一套k8s集群只可使用一种网络插件

sysctl -p C. 安装 ipvs 【注】ipvs 将作为 kube-proxy 的代理模式 Step1: 安装 yum install ipvsadm ipset sysstat conntrack libseccomp –y Step2: 加载 cat > /etc/sysconfig/modules/ipvs.modules <ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack D. 安装 docker-ce 和 k8s io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs --- apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration cgroupDriver: systemd

docker内部子网 flanneld pod-gw-eth0 ipvs-eth ipvs-eth L4 k8s-svc网络-LVS 由kube-proxy管理 core-dns 解析域名 访问过程 1.core-dns解析来集群内部域名kubernetes.cluster.svc.local; 2.流量达到ipvs-eth; 3.lvs负载均衡对流量进行轮寻，寻找目的pod下一跳; node1，node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题 我是作者名称 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试

东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 高效接入 访问加速 容量 稳定性 高可用 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF，XDP Ø 可编程交换芯片（P4语言） Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA （Ant Global Network Accelarator) 蚂蚁全球加速节点，全协议支持 § 支持UDPA § QUIC/HTTP3 § 接入层容器化，混部 § 支持QUIC协议的LB建设 § Web Assembly模块扩展东西流量的服务发现与路由 F5（ipvs） APP APP APP APP 配置中心 APP APP APP APP Proxy APP APP APP APPService Mesh Service 业务逻辑 SDK

complexity. 混合云环境下的资源属性还有哪些 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 Gateway L4~L7 GW 资源池 区域 可用区 云平台 租户 云资源

– kube-proxy 监控 • kube-proxy 在 /metrics 暴露监控数据， 可以直接拉取 • kube-proxy 的核心职责是同步网络规则， 修改 iptables 或者 ipvs。所以要重点关 注 sync_proxy_rules 相关的指标 • Categraf 的仓库中 inputs/kubernetes/kube-proxy- dash.json 就是 kube-proxy

their produc�on infrastructure away from netfilter’s IPVS (IP Virtual Server) over to XDP BPF allowed for a 10x speedup compared to their previous IPVS setup. This was first presented at the netdev 2.1 conference: