Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
CNI 网络模型与底层跨节点通信全景
大二层网络哲学、VXLAN 协议封包原理与 Flannel/Calico 深度对比
Kubernetes 大二层网络哲学与基本准则
Kubernetes 对集群网络提出了三条强制性基本假设(又称 IP-per-Pod 模型):
- 所有 Pod 均拥有一个独一无二的独立 IP 地址,无需 NAT 转换即可直接与任意节点上的其他 Pod 通信。
- 宿主机 Node 与该 Node 上的所有 Pod 可以在无需 NAT 转换的情况下直接双向通信。
- Pod 看到的自身 IP 地址,与外部其他组件或 Pod 看到的该 Pod 的 IP 地址完全相同。
CIDR 子网划分与节点 Pod 容量规则
- CIDR(无类别域间路由):突破传统 A/B/C 类固定掩码限制,采用可变长子网掩码(VLSM)避免 IP 浪费并实现路由聚合。
- 两级网段分配:在
kubeadm init时指定集群 Pod 大网段(如10.244.0.0/16,共 65536 个地址),随后每个物理 Node 加入集群时自动切分走一个/24的专属子网段(如 Node 1 分配10.244.1.0/24,Node 2 分配10.244.2.0/24,每个子网可容纳 254 个 Pod IP)。 - 单节点 Pod 上限:Kubernetes 默认规定单个物理节点最多运行 110 个 Pod(
maxPods: 110),因此/24(254 个可用 IP)绰绰有余,且通过 Pod IP 的第三段即可一眼识别该 Pod 运行在哪台物理节点上!
跨节点通信技术对比:VLAN vs GRE vs VXLAN
为了跨越不同物理机甚至不同机房的三层物理网络,构建平坦的“大二层虚拟局域网”,主流技术演进如下:
| 技术方案 | 工作层级 | 封装协议与特点 | 局限与瓶颈 |
|---|---|---|---|
| VLAN (二层直通) | 物理二层 (L2) | 基于 802.1Q 标签,无额外封包损耗,传输性能最高 | 必须要求全集群所有机器位于同一物理广播域内,VLAN ID 上限仅 4096 |
| GRE (通用路由封装) | 物理三层 (L3) | 点对点隧道,基于 IP 协议封包,可在复杂三层网络中路由 | 节点间需两两建立网状隧道,且仅支持单播/广播,难以扩展 |
| VXLAN (虚拟可扩展局域网) | 传输层 (L4) | 在 UDP 协议之上封装二层以太网帧(MAC-in-UDP),无状态、开销小 | 存在额外 50 字节包头开销与封包解包 CPU 损耗 |
Flannel VXLAN 模式封包解包全链路拆解
在 Flannel VXLAN 模式下,跨节点通信涉及完整的 VTEP(VXLAN 隧道端点设备 flannel.1)协议封包解包流转:
Flanneld 守护进程核心职责与底层排查命令
- 在每个节点上运行一个
flanneldDaemonSet 守护进程。 - 监听 API Server,动态获取全集群所有 Node 分配的 Pod 子网段与
flannel.1MAC 地址,在本地内核自动维护路由表、ARP 表与 FDB(转发表),无需像传统二层网络那样发送 ARP 广播(且 VXLAN 的 VNI ID 固定为1)! - 跨节点 VXLAN 排查三剑客命令:
- 查 veth 对映射:在容器内执行
cat /sys/class/net/eth0/iflink获取宿主机网卡索引,再到宿主机执行ip link或bridge link show即可定位挂载在cni0网桥上的对应vethxxxx设备。 - 查路由表 (
route -n或ip route):验证发往目标子网10.244.2.0/24的下一跳是否指向10.244.2.0且出口设备为flannel.1。 - 查邻居 ARP 表 (
ip neigh show dev flannel.1) 与转发表 (bridge fdb show dev flannel.1):ARP 表将下一跳虚拟 IP10.244.2.0解析为目标节点flannel.1的静态 MAC 地址;FDB 表再将该目标 MAC 地址映射为目标物理宿主机的真实 IP(如192.168.104.4),最后通过 UDP8472端口封装发出!
- 查 veth 对映射:在容器内执行
Flannel (VXLAN vs host-gw) 对比
- VXLAN 模式
- 叠加上层网络,通用性极强,支持跨二层、跨三层物理路由
- host-gw 模式
- 纯路由模式,将每台宿主机作为路由器网关,性能接近物理裸网
host-gw 模式致命约束
host-gw模式要求集群中所有物理机必须位于同一个二层局域网内!- 跨网段时因网关无法直达导致路由失效;公有云(如 AWS、阿里云 VPC)默认禁止自定义路由广播,因此公有云上通常采用 VXLAN 或云厂商托管 CNI。
Calico 架构:BGP 纯三层路由与 IPIP 隧道
Calico 是面向大规模集群的高性能网络方案:
BGP Route Reflector (路由反射器)
当集群节点数 庞大(如超过 100 节点)时,全连接 BGP(Full Mesh)的网络链接数高达 ,广播流量将打满物理交换机。 Calico 通过设立 BGP Route Reflector (RR 节点),普通 Node 仅向 RR 节点单向汇报路由,由 RR 统筹同步,支撑万级节点超大规模集群!
CNI 插件选型决策指南
| 场景考量维度 | Flannel (VXLAN) | Calico (BGP) | Calico (IPIP) |
|---|---|---|---|
| 网络性能 | 存在封包损耗 (中等) | 纯内核路由,无封包损耗 (极高) | 略高于 VXLAN (高) |
| 集群规模 | 适合中小规模 (≤ 100 节点) | 适合大规模集群 (上千节点) | 适合中大规模 |
| 网络策略 NetworkPolicy | 不支持(仅负责连通) | 原生强大支持 (L3/L4 访问控制规则) | 原生支持 |
| 运维复杂度 | 极低,开箱即用 | 需网络组配合开放 BGP 端口 | 中等 |