6019ab96782915bc6bf/p10_2.jpg) route IPVS entry IPVs mode data path Post-route Iptables snat Conntrack Post-route Pre-route IPV5 entry BPF SNAT IPVS-eBPF mode data path ## How eBPF does SNAT 11_2.jpg) ## How eBPF does SNAT • How IPV5 talks with eBPF program? • eBPF map id is passed to IPVs module • Ip vs new conn() inserts eBPF map • Key: (protocol, cip:cport, rsip:rsport) ![Image](

traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT - 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id传给IPvS内核模块 - 在ip_vs_new_conn 时，插入eBPF map - (protocol, clientip:cport -> targetip:dport) 在ip_vs_conn_unlink时，删除eBPF 7/p15_1.jpg) r ce IPVSS-BPF 模式下报文经过的模块 ## 03 和业界方法比较 ## 和其他的优化方法对比 V.S. 纯粹的eBPF service - 复用了IPvS timer来回收eBPF map。避开了eBPF map没有timer的问题 • 继承了IPV5丰富的功能，稳定性。例如调度算法丰富。 V.S. Taobao IPV5 SNAT patch

TABLE OF CONTENTS Kubernetes的Service机制 Iptables实现Service负载均衡 当前Iptables实现存在的问题 IPVS实现Service负载均衡 Iptables vs. IPVS ## Kubernetes的Service ## at first life used to be that simple ## Backend Container TABLE OF CONTENTS Kubernetes的Service机制 Iptables实现Service负载均衡 当前iptables实现存在的问题 IPVS实现Service负载均衡 Iptables vs. IPVS ## I ptables是什么？ 用户空间应用程序，通过配置Netfilter规则表（Xtables）来构建linux内核防火墙。 

1 # mkdir ~/.kube # cp /etc/kubernetes/admin.conf ~/.kube/config ## ★再参考第3章的以下2步： ⑤ service 使用 ipvs 模式 ⑥ 部署 flannel 网络插件 或⑦部署 calico 网络插件 完成以上配置，再将 master2, master3 加入集群 # 如果执行加入命令时提示 certificate-key pod ip 是会随 pod 的漂移而改变，所以需要一个固定的 ip 便于集群内互访，是由各 k8s 成员结点上的 kube-proxy 组件去维护的一个网络，底层实现是 iptalbes 规则或 ipvs 规则| ## ★K8S 服务器上的网络接口信息 # ip addr #查看 ip 网卡信息 1: lo: mtu 65536 qdisc noqueue 172.17.0.1/16 brd 172.17.255.255 #如果不使用 docker，则没有此接口 5: kube-ipvs0: mtu 1500 qdisc noop state DOWN #Service 网络，使用 ipvs 实现

0 码力 | 126 页 | 4.33 MB | 2 年前

3

加载内核模块 $ cat < 修改kubelet.service（可选：IPVS模式） 注意：kube-proxy的IPVS模式已在Kubernetes1.35中被标记为弃用，并在Kubernetes1.36中正式移除。新部署应使用默认的iptables模式或nftables模式（Kubernetes1.31+可用）。以下IPVS配置仅供1.35及更早版本的旧环境参考。 /etc/systemd/system/kubelet /etc/systemd/system/kubelet.service.d/10-proxy-ipvs.conf 写入以下内容 启用 ipvs 相关内核模块（已弃用，建议迁移至 nftables） [Service] ExecStartPre=-/sbin/modprobe ip_vs ExecStartPre=-/sbin/modprobe ip_vs_rr ExecStartPre=-/sbin/modprobe ip_vs_wrr 加载内核模块 $ cat < 修改kubelet.service（可选：IPVS模式） 注意：kube-proxy的IPVS模式已在Kubernetes1.35中被标记为弃用，并在Kubernetes1.36中正式移除。新部署应使用默认的iptables模式或nftables模式（Kubernetes1.31+可用）。以下IPVS配置仅供1.35及更早版本的旧环境参考。 /etc/systemd/system/kubelet

swappiness=0 EOF ### C. 安装 ipvs 【注】ipv6 将作为 kubec-proxy 的代理模式 Step1: 安装 yum install ipvsadm ipset sysstat conntrack libseccomp -y Step2: 加载 cat > /etc/sysconfig/modules/ipvs.modules\\ # 查看 docker-ce config.k8s.io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode:ipvs apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration cgroupDriver: systemd Step2:

0 0 16 建议使用网段：10.0.0.0/8~19，172.16.0.0/16~19，192.168.0.0/16~19 $ ^{*} $ 服务转发模式NEW! iptables ipvs 服务网格 启用 不启用 服务网格特性正在火热公测中，选择启用即可试用 集群描述 选填，输入相应的描述 0/200 ![Image](/uploads/documents/d/

以及通用的进程相关的指标，进程的 CPU 内存 文件句柄等指标 - kube-proxy 在 /metrics 暴露监控数据，可以直接拉取 - kube-proxy 的核心职责是同步网络规则，修改 iptables 或者 ipvs。所以要重点关注 sync_proxy_rules 相关的指标 - Categraf 的仓库中 inputs/kubernetes/kube-proxy- dash.json 就是 kubec-proxy

10.26  ## Maglev IPvs Katran ## 品 ☐ ☑ ## GFE BFE TGW Nginx Apache httpd ## SOFAMosn Envoy Linkerd ## 网络的挑战 11.11 天猫全球狂欢节

their creativity. TypeScript ☆ 5.9k 557 ## I vscare Public A lightweight LVS baby care, support ipvs health check Go ☆141 70 ## sealfs Public The storage system of sealos, aims to be a high-performance