Skip to content

A Kubernetes 大二层网络哲学与基本准则 ​

Kubernetes 对集群网络提出了三条强制性基本假设(又称 IP-per-Pod 模型):

  1. 所有 Pod 均拥有一个独一无二的独立 IP 地址,无需 NAT 转换即可直接与任意节点上的其他 Pod 通信。
  2. 宿主机 Node 与该 Node 上的所有 Pod 可以在无需 NAT 转换的情况下直接双向通信。
  3. Pod 看到的自身 IP 地址,与外部其他组件或 Pod 看到的该 Pod 的 IP 地址完全相同。
flow
[业务 Pod 1 (10.244.1.5)] -> [虚拟网桥 cni0]
[虚拟网桥 cni0] -> [宿主机物理网卡 eth0]
[宿主机物理网卡 eth0] -> [底层物理二层/三层网络]: 跨物理交换机传输
[底层物理二层/三层网络] -> [目标宿主机 eth0]
[目标宿主机 eth0] -> [目标 cni0 网桥]
[目标 cni0 网桥] -> [目标 Pod 2 (10.244.2.8)]
group 跨宿主机直通互联: 业务 Pod 1 (10.244.1.5), 目标 Pod 2 (10.244.2.8)
callout
- **CIDR(无类别域间路由)**:突破传统 A/B/C 类固定掩码限制,采用可变长子网掩码(VLSM)避免 IP 浪费并实现路由聚合。
- **两级网段分配**:在 `kubeadm init` 时指定集群 Pod 大网段(如 `10.244.0.0/16`,共 65536 个地址),随后每个物理 Node 加入集群时自动切分走一个 `/24` 的专属子网段(如 Node 1 分配 `10.244.1.0/24`,Node 2 分配 `10.244.2.0/24`,每个子网可容纳 254 个 Pod IP)。
- **单节点 Pod 上限**:Kubernetes 默认规定单个物理节点最多运行 **110 个 Pod**(`maxPods: 110`),因此 `/24`(254 个可用 IP)绰绰有余,且通过 Pod IP 的第三段即可一眼识别该 Pod 运行在哪台物理节点上!

B 跨节点通信技术对比:VLAN vs GRE vs VXLAN ​

为了跨越不同物理机甚至不同机房的三层物理网络,构建平坦的“大二层虚拟局域网”,主流技术演进如下:

技术方案工作层级封装协议与特点局限与瓶颈
VLAN (二层直通)物理二层 (L2)基于 802.1Q 标签,无额外封包损耗,传输性能最高必须要求全集群所有机器位于同一物理广播域内,VLAN ID 上限仅 4096
GRE (通用路由封装)物理三层 (L3)点对点隧道,基于 IP 协议封包,可在复杂三层网络中路由节点间需两两建立网状隧道,且仅支持单播/广播,难以扩展
VXLAN (虚拟可扩展局域网)传输层 (L4)在 UDP 协议之上封装二层以太网帧(MAC-in-UDP),无状态、开销小存在额外 50 字节包头开销与封包解包 CPU 损耗

C Flannel VXLAN 模式封包解包全链路拆解 ​

在 Flannel VXLAN 模式下,跨节点通信涉及完整的 VTEP(VXLAN 隧道端点设备 flannel.1)协议封包解包流转:

flow
[Pod A (10.244.1.5)] -> [veth1]: 容器内路由发现目标为跨节点 IP 10.244.2.8
[veth1] -> [网桥 cni0]: 查宿主机路由表 route -n
[网桥 cni0] -> [VTEP 设备 flannel.1]: 移交封包
[flannel.1 封包处理] -> [查询 ARP 表]: 获取目标 Node flannel.1 的 MAC 地址
[flannel.1 封包处理] -> [查询 FDB 转发表]: 获取目标 Node 物理 IP (如 192.168.104.4)
[flannel.1 封包处理] -> [组装 UDP 8472 报文]: 添加 VXLAN Header (VNI=1)
[宿主机 eth0] -> [物理交换机]: 发送标准外层 UDP 包
[物理交换机] -> [目标 Node eth0]: 接收 UDP 8472 包
[目标 flannel.1] -> [解开 VXLAN 包头]: 还原原始内部以太网帧
[目标 flannel.1] -> [目标 cni0 网桥]
[目标 cni0 网桥] -> [目标 Pod B (10.244.2.8)]
callout
- 在每个节点上运行一个 `flanneld` DaemonSet 守护进程。
- 监听 API Server,动态获取全集群所有 Node 分配的 Pod 子网段与 `flannel.1` MAC 地址,在本地内核自动维护**路由表**、**ARP 表**与 **FDB(转发表)**,**无需像传统二层网络那样发送 ARP 广播**(且 VXLAN 的 VNI ID 固定为 `1`)!
- **跨节点 VXLAN 排查三剑客命令**:
  1. **查 veth 对映射**:在容器内执行 `cat /sys/class/net/eth0/iflink` 获取宿主机网卡索引,再到宿主机执行 `ip link` 或 `bridge link show` 即可定位挂载在 `cni0` 网桥上的对应 `vethxxxx` 设备。
  2. **查路由表 (`route -n` 或 `ip route`)**:验证发往目标子网 `10.244.2.0/24` 的下一跳是否指向 `10.244.2.0` 且出口设备为 `flannel.1`。
  3. **查邻居 ARP 表 (`ip neigh show dev flannel.1`) 与转发表 (`bridge fdb show dev flannel.1`)**:ARP 表将下一跳虚拟 IP `10.244.2.0` 解析为目标节点 `flannel.1` 的静态 MAC 地址;FDB 表再将该目标 MAC 地址映射为目标物理宿主机的真实 IP(如 `192.168.104.4`),最后通过 UDP `8472` 端口封装发出!

D Flannel (VXLAN vs host-gw) 对比 ​

kv
VXLAN 模式: 叠加上层网络,通用性极强,支持跨二层、跨三层物理路由
host-gw 模式: 纯路由模式,将每台宿主机作为路由器网关,性能接近物理裸网
callout
- `host-gw` 模式要求**集群中所有物理机必须位于同一个二层局域网内**!
- 跨网段时因网关无法直达导致路由失效;公有云(如 AWS、阿里云 VPC)默认禁止自定义路由广播,因此公有云上通常采用 VXLAN 或云厂商托管 CNI。

E Calico 架构:BGP 纯三层路由与 IPIP 隧道 ​

Calico 是面向大规模集群的高性能网络方案:

flow
[业务 Pod] -> [veth 设备]: 直接穿透,无 cni0 虚拟网桥
[veth 设备] -> [BIRD 客户端]: 运行标准 BGP 边界网关协议
[BIRD 客户端] -> [全节点广播自身路由表]
[Felix 守护进程] -> [向 Linux 内核直接写入主机路由项]
group Calico BGP 核心组件: BIRD 客户端, Felix 守护进程

BGP Route Reflector (路由反射器) ​

当集群节点数 N 庞大(如超过 100 节点)时,全连接 BGP(Full Mesh)的网络链接数高达 N(N−1)2,广播流量将打满物理交换机。 Calico 通过设立 BGP Route Reflector (RR 节点),普通 Node 仅向 RR 节点单向汇报路由,由 RR 统筹同步,支撑万级节点超大规模集群!

CNI 插件选型决策指南 ​

场景考量维度Flannel (VXLAN)Calico (BGP)Calico (IPIP)
网络性能存在封包损耗 (中等)纯内核路由,无封包损耗 (极高)略高于 VXLAN (高)
集群规模适合中小规模 (≤ 100 节点)适合大规模集群 (上千节点)适合中大规模
网络策略 NetworkPolicy不支持(仅负责连通)原生强大支持 (L3/L4 访问控制规则)原生支持
运维复杂度极低,开箱即用需网络组配合开放 BGP 端口中等

← 返回 Kubernetes 知识库总索引