Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

CNI 网络模型与底层跨节点通信全景

大二层网络哲学、VXLAN 协议封包原理与 Flannel/Calico 深度对比

A

Kubernetes 大二层网络哲学与基本准则

Kubernetes 对集群网络提出了三条强制性基本假设(又称 IP-per-Pod 模型):

  1. 所有 Pod 均拥有一个独一无二的独立 IP 地址,无需 NAT 转换即可直接与任意节点上的其他 Pod 通信。
  2. 宿主机 Node 与该 Node 上的所有 Pod 可以在无需 NAT 转换的情况下直接双向通信。
  3. Pod 看到的自身 IP 地址,与外部其他组件或 Pod 看到的该 Pod 的 IP 地址完全相同。
跨宿主机直通互联跨物理交换机传输业务 Pod 1 (10.244.1.5)虚拟网桥 cni0宿主机物理网卡 eth0底层物理二层/三层网络目标宿主机 eth0目标 cni0 网桥目标 Pod 2 (10.244.2.8)
CIDR 子网划分与节点 Pod 容量规则
  • CIDR(无类别域间路由):突破传统 A/B/C 类固定掩码限制,采用可变长子网掩码(VLSM)避免 IP 浪费并实现路由聚合。
  • 两级网段分配:在 kubeadm init 时指定集群 Pod 大网段(如 10.244.0.0/16,共 65536 个地址),随后每个物理 Node 加入集群时自动切分走一个 /24 的专属子网段(如 Node 1 分配 10.244.1.0/24,Node 2 分配 10.244.2.0/24,每个子网可容纳 254 个 Pod IP)。
  • 单节点 Pod 上限:Kubernetes 默认规定单个物理节点最多运行 110 个 Pod(maxPods: 110),因此 /24(254 个可用 IP)绰绰有余,且通过 Pod IP 的第三段即可一眼识别该 Pod 运行在哪台物理节点上!
B

跨节点通信技术对比:VLAN vs GRE vs VXLAN

为了跨越不同物理机甚至不同机房的三层物理网络,构建平坦的“大二层虚拟局域网”,主流技术演进如下:

技术方案 工作层级 封装协议与特点 局限与瓶颈
VLAN (二层直通) 物理二层 (L2) 基于 802.1Q 标签,无额外封包损耗,传输性能最高 必须要求全集群所有机器位于同一物理广播域内,VLAN ID 上限仅 4096
GRE (通用路由封装) 物理三层 (L3) 点对点隧道,基于 IP 协议封包,可在复杂三层网络中路由 节点间需两两建立网状隧道,且仅支持单播/广播,难以扩展
VXLAN (虚拟可扩展局域网) 传输层 (L4) 在 UDP 协议之上封装二层以太网帧(MAC-in-UDP),无状态、开销小 存在额外 50 字节包头开销与封包解包 CPU 损耗
C

Flannel VXLAN 模式封包解包全链路拆解

在 Flannel VXLAN 模式下,跨节点通信涉及完整的 VTEP(VXLAN 隧道端点设备 flannel.1)协议封包解包流转:

容器内路由发现目标为跨节点 IP 10.244.2.8查宿主机路由表 route -n移交封包获取目标 Node flannel.1 的 MAC 地址获取目标 Node 物理 IP (如 192.168.104.4)添加 VXLAN Header (VNI=1)发送标准外层 UDP 包接收 UDP 8472 包还原原始内部以太网帧Pod A (10.244.1.5)veth1网桥 cni0VTEP 设备 flannel.1flannel.1 封包处理查询 ARP 表查询 FDB 转发表组装 UDP 8472 报文宿主机 eth0物理交换机目标 Node eth0目标 flannel.1解开 VXLAN 包头目标 cni0 网桥目标 Pod B (10.244.2.8)
Flanneld 守护进程核心职责与底层排查命令
  • 在每个节点上运行一个 flanneld DaemonSet 守护进程。
  • 监听 API Server,动态获取全集群所有 Node 分配的 Pod 子网段与 flannel.1 MAC 地址,在本地内核自动维护路由表、ARP 表与 FDB(转发表),无需像传统二层网络那样发送 ARP 广播(且 VXLAN 的 VNI ID 固定为 1)!
  • 跨节点 VXLAN 排查三剑客命令:
    1. 查 veth 对映射:在容器内执行 cat /sys/class/net/eth0/iflink 获取宿主机网卡索引,再到宿主机执行 ip link 或 bridge link show 即可定位挂载在 cni0 网桥上的对应 vethxxxx 设备。
    2. 查路由表 (route -n 或 ip route):验证发往目标子网 10.244.2.0/24 的下一跳是否指向 10.244.2.0 且出口设备为 flannel.1。
    3. 查邻居 ARP 表 (ip neigh show dev flannel.1) 与转发表 (bridge fdb show dev flannel.1):ARP 表将下一跳虚拟 IP 10.244.2.0 解析为目标节点 flannel.1 的静态 MAC 地址;FDB 表再将该目标 MAC 地址映射为目标物理宿主机的真实 IP(如 192.168.104.4),最后通过 UDP 8472 端口封装发出!
D

Flannel (VXLAN vs host-gw) 对比

VXLAN 模式
叠加上层网络,通用性极强,支持跨二层、跨三层物理路由
host-gw 模式
纯路由模式,将每台宿主机作为路由器网关,性能接近物理裸网
host-gw 模式致命约束
  • host-gw 模式要求集群中所有物理机必须位于同一个二层局域网内!
  • 跨网段时因网关无法直达导致路由失效;公有云(如 AWS、阿里云 VPC)默认禁止自定义路由广播,因此公有云上通常采用 VXLAN 或云厂商托管 CNI。
E

Calico 架构:BGP 纯三层路由与 IPIP 隧道

Calico 是面向大规模集群的高性能网络方案:

Calico BGP 核心组件直接穿透,无 cni0 虚拟网桥运行标准 BGP 边界网关协议业务 Podveth 设备BIRD 客户端全节点广播自身路由表Felix 守护进程向 Linux 内核直接写入主机路由项

BGP Route Reflector (路由反射器)

当集群节点数 N 庞大(如超过 100 节点)时,全连接 BGP(Full Mesh)的网络链接数高达 N(N−1)2,广播流量将打满物理交换机。 Calico 通过设立 BGP Route Reflector (RR 节点),普通 Node 仅向 RR 节点单向汇报路由,由 RR 统筹同步,支撑万级节点超大规模集群!

CNI 插件选型决策指南

场景考量维度 Flannel (VXLAN) Calico (BGP) Calico (IPIP)
网络性能 存在封包损耗 (中等) 纯内核路由,无封包损耗 (极高) 略高于 VXLAN (高)
集群规模 适合中小规模 (≤ 100 节点) 适合大规模集群 (上千节点) 适合中大规模
网络策略 NetworkPolicy 不支持(仅负责连通) 原生强大支持 (L3/L4 访问控制规则) 原生支持
运维复杂度 极低,开箱即用 需网络组配合开放 BGP 端口 中等

← 返回 Kubernetes 知识库总索引