核心作用
kube-proxy 是 Kubernetes 中负责实现 Service 负载均衡的核心组件,通常在每个节点上运行。
- 监听 Kubernetes API,获取 Service 和 EndpointSlice 的变化。
- 在节点上配置转发规则,把发往 Service IP(ClusterIP / NodePort / LoadBalancer)的流量转发到后端 Pod。
- 没有 kube-proxy(或其替代实现),Service 转发就无法正常工作。
工作模式
通过 --proxy-mode 指定,具体支持情况取决于 Kubernetes 版本和操作系统:
| 模式 | 实现方式 | 特点 |
|---|---|---|
| iptables | iptables 规则链 | 传统 Linux 默认模式,成熟稳定;规则数量随 Service/Endpoint 增多而增长,大规模时管理和匹配开销增大 |
| ipvs | 内核 IPVS 模块 | 支持多种调度算法,常见于存量集群;新版本的支持和弃用状态需查阅对应版本文档 |
| nftables | 内核 nftables | 较新版本提供的 Linux 代理模式,使用前需确认版本及内核要求 |
| userspace | 用户态代理 | 历史模式,现代 Kubernetes 已移除 |
现代 CNI(如 Cilium)可使用 eBPF 完全替代 kube-proxy,流量在内核 eBPF 程序中完成后端选择与转发。
确认当前模式
1 | # 查看 ConfigMap |
部分 ACK 集群使用 mode: ipvs,应以实际配置和 kube-proxy 日志为准。
iptables 模式调试
规则存在于每个节点本地,需登录节点并以具备相应权限的用户执行。
常见链
| 链名 | 作用 |
|---|---|
KUBE-SERVICES |
Service 入口(最核心) |
KUBE-NODEPORTS |
NodePort 入口(iptables 模式常见命名) |
KUBE-POSTROUTING |
出站 SNAT/MASQUERADE |
KUBE-MARK-MASQ |
标记需要 MASQUERADE 的包 |
KUBE-SVC-* |
具体 Service 的负载均衡链 |
KUBE-SEP-* |
具体 Endpoint/Pod 的 DNAT 链 |
CNI-* |
CNI 插件(如 Flannel hostPort 等)创建的辅助链 |
具体链名及结构可能因代理模式、版本和发行版而异。
查看命令
1 | # 查看所有链名 |
在 iptables 模式下,典型的 ClusterIP 转发路径为:
1 | KUBE-SERVICES → KUBE-SVC-* → KUBE-SEP-* → DNAT 到 Pod IP:Port |
KUBE-SERVICES 负责匹配 Service,KUBE-SVC-* 负责选择后端,真正的 DNAT 到 Pod IP 发生在 KUBE-SEP-* 链。
IPVS 模式调试
IPVS 模式通常不通过 KUBE-SVC-* 和 KUBE-SEP-* 链进行后端选择,负载均衡由内核 IPVS 完成。iptables 和 ipset 仍会参与入口匹配、标记及 SNAT 等处理。
KUBE-SERVICES 与 ipset
IPVS 模式常使用 ipset 快速匹配 Service 地址。例如,部分实现中的 KUBE-SERVICES 规则包含:
- 源地址
127.0.0.0/8→RETURN,跳过后续处理。 - 匹配
KUBE-LOAD-BALANCERipset → 跳转KUBE-LOAD-BALANCER。 - 非 Pod 网段访问 ClusterIP → 跳转
KUBE-MARK-MASQ,标记需要 MASQUERADE 的流量。 - 目标地址类型为 LOCAL → 跳转
KUBE-NODE-PORT,处理 NodePort。 - 匹配
KUBE-CLUSTER-IPipset →ACCEPT。
这类规则属于 IPVS 模式的辅助规则,不能用来说明纯 iptables 模式的后端选择过程。具体规则顺序以节点实际输出为准。
1 | ipset list KUBE-CLUSTER-IP |
查看 Service → Pod 映射
1 | # 安装(如需,以下适用于使用 yum 的发行版) |
简单示例:
1 | TCP 10.96.0.50:80 rr |
- 第一行:Service ClusterIP + 端口,
rr为轮询调度。 ->下面:后端 Pod IP 和端口。Masq:IPVS 的 NAT 转发模式,不代表该行证明流量已执行 iptables MASQUERADE。
ACK IPVS 输出示例
以下为说明输出结构而构造的示例。公网地址使用文档保留网段,节点名、Pod 地址和端口均为示例值,不对应真实环境。
1 | [root@example-node ~]# ipvsadm -Ln --stats |
输出解读
| 字段 | 含义 |
|---|---|
| Prot | 协议(TCP/UDP) |
| LocalAddress:Port | 虚拟服务地址(Service 的 ClusterIP / NodePort / 外部 IP) |
| Conns / InPkts / OutPkts / InBytes / OutBytes | 累计连接数、入出包数、入出字节数 |
| -> RemoteAddress:Port | 后端真实服务器地址(通常为 Pod 地址) |
统计全为 0 仅表示当前统计周期内没有记录到流量,不能据此断定业务始终没有流量。可间隔采样,检查计数是否增长。
地址类型
外部地址(如示例中的
203.0.113.10、198.51.100.20)- 可对应 LoadBalancer Service 或配置了 ExternalIP 的 Service。
- 只有流量实际到达该节点并命中对应规则时,才会由 IPVS 转发到后端。
169.254.20.10(部分 ACK 实现中的 NodePort 入口)169.254.0.0/16是链路本地地址。- 部分 ACK kube-proxy IPVS 实现使用特殊本地地址承接 NodePort 流量,需结合实际版本及节点规则确认。
- 端口号(本例为 30080、30081)对应 Service 的 NodePort。
- 不应仅凭该地址就推断所有 ACK 集群的实现均相同。
10.244.x.x(示例 Pod IP)- 本例假设 Pod CIDR 为
10.244.0.0/16。 - 后端条目显示 Pod IP 和 Service 对应的目标端口。
- 本例假设 Pod CIDR 为
具体条目示例
1 | TCP 203.0.113.10:80 |
含义:
- 虚拟服务外部地址为
203.0.113.10:80。 - 有 4 个后端 Pod,目标端口均为
8000。 - 流量按配置的 IPVS 调度算法选择后端;使用
ipvsadm -Ln确认算法,例如rr。
对应到具体 Service
1 | # 根据外部 IP 或 NodePort 初步反查 Service,再检查完整 YAML 确认 |
其他实用命令
1 | ipvsadm -Ln -c # 连接情况 |
小结
- iptables 模式:用
iptables查看KUBE-*链,典型后端 DNAT 在KUBE-SEP-*。 - IPVS 模式:用
ipvsadm -Ln查看 Service 到 Pod 的映射,结合 iptables 和 ipset 排查辅助规则。 - CNI(如 Flannel)负责 Pod 网络连通,Service 转发由 kube-proxy 或其替代实现负责。