kube-proxy 介绍与调试

核心作用

kube-proxy 是 Kubernetes 中负责实现 Service 负载均衡的核心组件,通常在每个节点上运行。

  • 监听 Kubernetes API,获取 Service 和 EndpointSlice 的变化。
  • 在节点上配置转发规则,把发往 Service IP(ClusterIP / NodePort / LoadBalancer)的流量转发到后端 Pod。
  • 没有 kube-proxy(或其替代实现),Service 转发就无法正常工作。

工作模式

通过 --proxy-mode 指定,具体支持情况取决于 Kubernetes 版本和操作系统:

模式 实现方式 特点
iptables iptables 规则链 传统 Linux 默认模式,成熟稳定;规则数量随 Service/Endpoint 增多而增长,大规模时管理和匹配开销增大
ipvs 内核 IPVS 模块 支持多种调度算法,常见于存量集群;新版本的支持和弃用状态需查阅对应版本文档
nftables 内核 nftables 较新版本提供的 Linux 代理模式,使用前需确认版本及内核要求
userspace 用户态代理 历史模式,现代 Kubernetes 已移除

现代 CNI(如 Cilium)可使用 eBPF 完全替代 kube-proxy,流量在内核 eBPF 程序中完成后端选择与转发。

确认当前模式

1
2
3
4
# 查看 ConfigMap
kubectl -n kube-system get cm kube-proxy -o yaml | grep -i mode
# 或节点上(仅适用于显式传入该参数的情况)
ps aux | grep kube-proxy | grep -o 'proxy-mode=[^ ]*'

部分 ACK 集群使用 mode: ipvs,应以实际配置和 kube-proxy 日志为准。

iptables 模式调试

规则存在于每个节点本地,需登录节点并以具备相应权限的用户执行。

常见链

链名 作用
KUBE-SERVICES Service 入口(最核心)
KUBE-NODEPORTS NodePort 入口(iptables 模式常见命名)
KUBE-POSTROUTING 出站 SNAT/MASQUERADE
KUBE-MARK-MASQ 标记需要 MASQUERADE 的包
KUBE-SVC-* 具体 Service 的负载均衡链
KUBE-SEP-* 具体 Endpoint/Pod 的 DNAT 链
CNI-* CNI 插件(如 Flannel hostPort 等)创建的辅助链

具体链名及结构可能因代理模式、版本和发行版而异。

查看命令

1
2
3
4
5
6
7
8
9
10
11
# 查看所有链名
iptables -t nat -L -n | grep '^Chain'

# 只看 KUBE-SERVICES
iptables -t nat -L KUBE-SERVICES -n -v --line-numbers

# 查看所有 KUBE 相关规则
iptables -t nat -S | grep KUBE

# 统计包含 KUBE 的规则行数
iptables-save | grep -c KUBE

在 iptables 模式下,典型的 ClusterIP 转发路径为:

1
KUBE-SERVICES → KUBE-SVC-* → KUBE-SEP-* → DNAT 到 Pod IP:Port

KUBE-SERVICES 负责匹配 Service,KUBE-SVC-* 负责选择后端,真正的 DNAT 到 Pod IP 发生在 KUBE-SEP-* 链。

IPVS 模式调试

IPVS 模式通常不通过 KUBE-SVC-* 和 KUBE-SEP-* 链进行后端选择,负载均衡由内核 IPVS 完成。iptables 和 ipset 仍会参与入口匹配、标记及 SNAT 等处理。

KUBE-SERVICES 与 ipset

IPVS 模式常使用 ipset 快速匹配 Service 地址。例如,部分实现中的 KUBE-SERVICES 规则包含:

  1. 源地址 127.0.0.0/8 → RETURN,跳过后续处理。
  2. 匹配 KUBE-LOAD-BALANCER ipset → 跳转 KUBE-LOAD-BALANCER。
  3. 非 Pod 网段访问 ClusterIP → 跳转 KUBE-MARK-MASQ,标记需要 MASQUERADE 的流量。
  4. 目标地址类型为 LOCAL → 跳转 KUBE-NODE-PORT,处理 NodePort。
  5. 匹配 KUBE-CLUSTER-IP ipset → ACCEPT。

这类规则属于 IPVS 模式的辅助规则,不能用来说明纯 iptables 模式的后端选择过程。具体规则顺序以节点实际输出为准。

1
2
ipset list KUBE-CLUSTER-IP
ipset list KUBE-LOAD-BALANCER

查看 Service → Pod 映射

1
2
3
4
5
6
7
8
9
10
11
# 安装(如需,以下适用于使用 yum 的发行版)
yum install -y ipvsadm

# 查看所有虚拟服务与后端
ipvsadm -Ln

# 带统计
ipvsadm -Ln --stats

# 查看具体 TCP Service
ipvsadm -Ln -t <ClusterIP>:<Port>

简单示例:

1
2
3
TCP  10.96.0.50:80 rr
-> 10.244.1.15:8080 Masq 1 0 0
-> 10.244.2.22:8080 Masq 1 0 0
  • 第一行:Service ClusterIP + 端口,rr 为轮询调度。
  • -> 下面:后端 Pod IP 和端口。
  • Masq:IPVS 的 NAT 转发模式,不代表该行证明流量已执行 iptables MASQUERADE。

ACK IPVS 输出示例

以下为说明输出结构而构造的示例。公网地址使用文档保留网段,节点名、Pod 地址和端口均为示例值,不对应真实环境。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@example-node ~]# ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 203.0.113.10:80 0 0 0 0 0
-> 10.244.1.10:8000 0 0 0 0 0
-> 10.244.2.10:8000 0 0 0 0 0
-> 10.244.3.10:8000 0 0 0 0 0
-> 10.244.4.10:8000 0 0 0 0 0
TCP 203.0.113.10:443 0 0 0 0 0
-> 10.244.1.10:8443 0 0 0 0 0
-> 10.244.2.10:8443 0 0 0 0 0
-> 10.244.3.10:8443 0 0 0 0 0
-> 10.244.4.10:8443 0 0 0 0 0
TCP 198.51.100.20:8080 0 0 0 0 0
-> 10.244.2.20:8080 0 0 0 0 0
TCP 169.254.20.10:30080 0 0 0 0 0
-> 10.244.1.10:8081 0 0 0 0 0
-> 10.244.2.10:8081 0 0 0 0 0
-> 10.244.3.10:8081 0 0 0 0 0
-> 10.244.4.10:8081 0 0 0 0 0
TCP 169.254.20.10:30081 0 0 0 0 0
-> 10.244.1.20:8001 0 0 0 0 0
-> 10.244.2.30:8001 0 0 0 0 0
...

输出解读

字段 含义
Prot 协议(TCP/UDP)
LocalAddress:Port 虚拟服务地址(Service 的 ClusterIP / NodePort / 外部 IP)
Conns / InPkts / OutPkts / InBytes / OutBytes 累计连接数、入出包数、入出字节数
-> RemoteAddress:Port 后端真实服务器地址(通常为 Pod 地址)

统计全为 0 仅表示当前统计周期内没有记录到流量,不能据此断定业务始终没有流量。可间隔采样,检查计数是否增长。

地址类型

  1. 外部地址(如示例中的 203.0.113.10、198.51.100.20)

    • 可对应 LoadBalancer Service 或配置了 ExternalIP 的 Service。
    • 只有流量实际到达该节点并命中对应规则时,才会由 IPVS 转发到后端。
  2. 169.254.20.10(部分 ACK 实现中的 NodePort 入口)

    • 169.254.0.0/16 是链路本地地址。
    • 部分 ACK kube-proxy IPVS 实现使用特殊本地地址承接 NodePort 流量,需结合实际版本及节点规则确认。
    • 端口号(本例为 30080、30081)对应 Service 的 NodePort。
    • 不应仅凭该地址就推断所有 ACK 集群的实现均相同。
  3. 10.244.x.x(示例 Pod IP)

    • 本例假设 Pod CIDR 为 10.244.0.0/16。
    • 后端条目显示 Pod IP 和 Service 对应的目标端口。

具体条目示例

1
2
3
4
5
TCP  203.0.113.10:80
-> 10.244.1.10:8000
-> 10.244.2.10:8000
-> 10.244.3.10:8000
-> 10.244.4.10:8000

含义:

  • 虚拟服务外部地址为 203.0.113.10:80。
  • 有 4 个后端 Pod,目标端口均为 8000。
  • 流量按配置的 IPVS 调度算法选择后端;使用 ipvsadm -Ln 确认算法,例如 rr。

对应到具体 Service

1
2
3
4
5
6
# 根据外部 IP 或 NodePort 初步反查 Service,再检查完整 YAML 确认
kubectl get svc -A -o wide | grep -F '203.0.113.10'
kubectl get svc -A -o wide | grep 30080

# 查看所有 LoadBalancer / NodePort
kubectl get svc -A -o wide | grep -E 'LoadBalancer|NodePort'

其他实用命令

1
2
3
ipvsadm -Ln -c          # 连接情况
watch -n 1 'ipvsadm -Ln --stats | head -30'
ipvsadm -Ln | grep -c 'TCP\|UDP'

小结

  • iptables 模式:用 iptables 查看 KUBE-* 链,典型后端 DNAT 在 KUBE-SEP-*。
  • IPVS 模式:用 ipvsadm -Ln 查看 Service 到 Pod 的映射,结合 iptables 和 ipset 排查辅助规则。
  • CNI(如 Flannel)负责 Pod 网络连通,Service 转发由 kube-proxy 或其替代实现负责。