Skip to content

A 均匀调度:Even Pod Spreading (拓扑分布约束) ​

在多可用区(Multi-Zone)容灾场景下,传统的 podAntiAffinity 存在严重局限性:反亲和只能要求“同拓扑域不得重复”,无法实现“7 个 Pod 均匀分布在 3 个可用区(如 2-2-3 分布)”。 Kubernetes 引入了 Even Pod Spreading 特性,通过数学极差控制实现真正的跨域均匀负载:

flow
[新 Pod 准备调度] -> [按拓扑域分组统计指定 Label 的 Pod 总数]
[按拓扑域分组统计指定 Label 的 Pod 总数] -> [计算各拓扑域如果放入新 Pod 后的 Skew 极差]
[计算各拓扑域如果放入新 Pod 后的 Skew 极差] -> {是否满足 Skew <= maxSkew?}
{满足 Skew <= maxSkew?} -> [调度到该拓扑域的候选节点]: 满足约束
{满足 Skew <= maxSkew?} -> {查看 whenUnsatisfiable 参数}: 超出允许极差
{查看 whenUnsatisfiable 参数} -> (拒绝调度: 卡在 Pending): DoNotSchedule 硬策略
{查看 whenUnsatisfiable 参数} -> [容忍偏差: 调度到次优域]: ScheduleAnyway 软策略
callout
$$\text{Skew} = \text{选定拓扑域中匹配 Pod 数} - \text{所有拓扑域中匹配 Pod 的最小值}$$
例如配置 `maxSkew: 1` 时,所有可用区之间的 Pod 副本数量之差绝不允许超过 1 个!
yaml
topologySpreadConstraints:
- maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule
  labelSelector:
    matchLabels:
      app: payment-api
callout
为什么不使用传统方案实现 7 个 Pod 在 3 个 Zone 呈 2-2-3 均匀分布?
- **方案 1(拆分为 3 个独立 Deployment 分别绑定不同 Zone)**:某个 Zone 整体故障时,其名下的 Pod 无法自动跨 Zone 漂移到健康可用区,丧失跨机房容灾自愈能力。
- **方案 2(使用 PodAntiAffinity 反亲和)**:硬反亲和要求每个拓扑域最多 1 个 Pod(超出即 Pending),软反亲和则容易退化为 `1-1-5` 偏态分布,无法精确控制极差。
- **方案 3(Even Pod Spreading 拓扑分布约束,生产首选)**:通过 `maxSkew` 严格控制各拓扑域副本数极差。
- **使用注意点与局限性**:
  1. 统计范围仅限**同一 Namespace** 下匹配 `labelSelector` 的 Pod,且只有打上了 `topologyKey` 标签的 Node 才参与统计与调度;多条 `topologySpreadConstraints` 规则之间以及与 `nodeSelector/nodeAffinity` 之间均为 **AND(逻辑与)** 关系。
  2. **静态调度局限**:僅在 Pod 创建调度时生效;当后续某个 Pod 被删除或节点下线导致分布失衡时,原生 Scheduler **不会主动重新平衡(Rebalance)**,需配合下文的 **Descheduler** 组件治理。

B 集群重平衡利器:Descheduler 重调度器 ​

Kube-Scheduler 的致命局限:调度决策是一次性的(One-time Decision)。当一个 Pod 被调度到 Node A 后,即使后续:

  1. 节点 A 资源利用率飙升到 95%,而新扩容的节点 B 利用率仅 5%;
  2. 节点宕机恢复后,原有 Pod 依然聚集在旧节点,无法自动“回迁”; Kubernetes 原生调度器绝不会主动搬迁或重新调度运行中的 Pod!

为此,Kubernetes 生态开发了专职的 Descheduler 组件:

flow
[Descheduler 周期巡检] -> [发现严重负载失衡 / 亲和性冲突]
[发现严重负载失衡 / 亲和性冲突] -> [安全驱逐失衡 Pod (向 API Server 发起 Eviction)]
[安全驱逐失衡 Pod (向 API Server 发起 Eviction)] -> [Controller 监听到副本缺失触发自愈]
[Controller 监听到副本缺失触发自愈] -> [Kube-Scheduler 介入将新 Pod 调度到空闲节点]
group 重平衡闭环: 安全驱逐失衡 Pod (向 API Server 发起 Eviction), Controller 监听到副本缺失触发自愈, Kube-Scheduler 介入将新 Pod 调度到空闲节点

Descheduler 五大核心策略 ​

策略名称策略核心行为生产收益
LowNodeUtilization识别 CPU/内存低于 20% 的低负载节点与高于 70% 的高负载节点,将 Pod 从高载迁往低载平抑集群热点,提升整体资源利用率
HighNodeUtilization集中装箱策略。主动腾空低负载节点,便于触发 Cluster Autoscaler 缩容机器下线省钱显著削减公有云机器账单
RemoveDuplicates发现同一个 Deployment/RS 的多个副本堆叠在同一物理机时,主动驱逐打散杜绝单宿主机故障引发服务不可用
RemovePodsViolatingNodeAffinity驱逐已经不再满足节点硬亲和性(如节点标签被管理员更新)的 Pod纠正偏离合规策略的历史 Pod
RemovePodsViolatingTopologySpreadConstraint修正因节点重启或临时容忍导致的不均匀分布状态持续保证多机房容灾配比恒定
callout
- **核心参数**:`thresholds`(低利用率阈值,如 20%)、`targetThresholds`(高利用率阈值,如 70%)、`numberOfNodes`(触发平衡所需的最少低负载节点数)、`useDeviationThresholds`(使用相对集群平均利用率的偏差作为阈值)、`evictLocalStoragePods`(是否允许驱逐挂载了本地存储的 Pod)。
- **天然免驱逐保护白名单(不会被 Descheduler 驱逐的 Pod)**:
  1. 打上了 `system-cluster-critical` 或 `system-node-critical` 最高优先级的系统关键 Pod;
  2. 静态 Pod(Static Pod)、裸 Pod(不受 RS/Deployment/Job 控制器管理的独立 Pod)以及 **DaemonSet** 管理的守护进程 Pod;
  3. 挂载了 Local Storage 或 PVC 的有状态 Pod(除非显式开启 `evictLocalStoragePods` / `ignorePvcPods`);
  4. 驱逐后会违反下述 **PDB (PodDisruptionBudget)** 最低可用副本预算的 Pod。
- **驱逐先后顺序**:在 `LowNodeUtilization` 等策略下,优先驱逐 **PriorityClass 优先级数值从低到高** 的 Pod;同优先级下,严格按照 **BestEffort > Burstable > Guaranteed** 的顺序驱逐。

C 业务高可用防线:PDB (PodDisruptionBudget) ​

在执行集群维护操作(如 kubectl drain node-1 排空节点升级内核,或 Descheduler 驱逐 Pod 时),极易因为并发驱逐导致单副本业务或小副本集群发生瞬间中断! PDB (Pod Disruption Budget) 用于为自愿中断(Voluntary Disruptions)设置防线:

yaml
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: order-api-pdb
spec:
  minAvailable: 2        # 关键约束:任何时刻必须至少保留 2 个健康副本处于可用状态
  selector:
    matchLabels:
      app: order-api
callout
- 当运维执行 `kubectl drain` 时,API Server 会首先检查 PDB 限制。
- 若驱逐该 Pod 会导致存活副本数低于 `minAvailable`,API Server **直接拒绝本次驱逐请求**,直到新 Pod 在其他节点就绪后才放行下一次驱逐。

D 优先级抢占调度 (Priority & Preemption) ​

当生产集群出现资源枯竭(所有 Node CPU 均打满,新 Pod 均无法通过预选)时,核心关键业务必须能够抢占非核心任务的资源。

flow
[高优先级 Pod (Priority: 100000) 提交] -> [预选发现全集群无节点可满足资源]
[预选发现全集群无节点可满足资源] -> [触发抢占算法 Preemption]
[触发抢占算法 Preemption] -> [遍历低优先级 Pod (Priority: 0)]: 评估牺牲品
[遍历低优先级 Pod (Priority: 0)] -> [驱逐满足资源需求的低优先级 Pod]
[驱逐满足资源需求的低优先级 Pod] -> [高优先级 Pod 成功绑定该 Node 并拉起]
callout
- **优先级范围**:系统内置了最高优先级类别 `system-cluster-critical` 与 `system-node-critical`(整数值超过 20 亿,专供 CoreDNS、Flannel 等关键组件使用)。业务可在 0 ~ 10 亿之间自定义 `PriorityClass`,未指定时默认为 0。
- **调度 vs 抢占 vs 驱逐 核心区别**:
  1. **调度 (Scheduling)**:Kube-Scheduler 根据节点 `requests` 账面已分配量的总和(`kubectl describe node` 所见的 Allocated resources,而非物理真实消耗)执行预选+优选。
  2. **抢占 (Preemption)**:在**创建高优先级新 Pod** 因节点账面 `requests` 不足而 Pending 时由 **Scheduler** 触发,依据是 `priorityClassName`(无视标签或低优先级保护,直接杀低优先级 Pod 腾位置)。
  3. **压力驱逐 (Eviction)**:在节点**物理真实资源耗尽**突破预设水位线时由节点本地 **Kubelet** 触发,依据是 **QoS 等级与真实用量**(即使某个 Pod 的 PriorityClass 很高,如果它是未设 limits 的 BestEffort 或超用严重的 Burstable,在内存危机时同样会被优先驱逐!)。

E Kubelet 节点压力驱逐 (Node Eviction) 全景 ​

当物理节点真实资源耗尽时,Kubelet 会主动发起硬驱逐或软驱逐,防止内核崩溃宕机:

kv
软驱逐 (Soft Eviction): 达到阈值后启动宽限期等待 (如等待 90s),平滑平稳迁移
硬驱逐 (Hard Eviction): 达到阈值立即强杀 Pod,绝无任何缓冲等待

驱逐触发核心指标与 QoS 驱逐顺序 ​

  1. 三大压力状态与底层探测源:Kubelet 通过直接读取底层 Cgroup 统计文件(而非 free 命令)实时监控三类压力并上报 Node Condition:
    • MemoryPressure:memory.available < 100Mi(触发时按照 BestEffort -> Burstable -> Guaranteed 的 QoS 顺序及真实内存超用比例驱逐)。
    • DiskPressure:分为 nodefs(宿主机根文件系统及 /var/lib/kubelet,含 nodefs.available < 10% 与 nodefs.inodesFree < 5%)与 imagefs(容器镜像与可写层存储目录 imagefs.available < 15%)。注意:磁盘不足驱逐不看 QoS 等级,直接按实际磁盘占用大小排序驱逐并执行镜像/死容器 GC 清理!
    • PIDPressure:宿主机进程号枯竭(pid.available < 5%)。
  2. 软驱逐 vs 硬驱逐:
    • 软驱逐配置宽限期与优雅终止时间,驱逐至水位回到阈值以下即停;
    • 硬驱逐(--eviction-hard)零宽限期直接 SIGKILL 强杀,且一直驱逐到满足 --eviction-minimum-reclaim(最小资源回收缓冲量)才停止,防止水位在临界点反复震荡。
  3. 容灾最佳实践:当应用真正做到计算与状态分离(Stateless)、挂载分布式存储且通过 Service/CoreDNS 寻址时,任何节点驱逐重建均可在秒级自愈,同时建议适当调长 kube-controller-manager 的驱逐容忍期以避免瞬时网络抖动引发大规模误驱逐。

← 返回 Kubernetes 知识库总索引