Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

集群高级调度、资源平衡与驱逐机制

拓扑均匀分布、Descheduler 重平衡、PDB 预算与节点驱逐深度解析

A

均匀调度:Even Pod Spreading (拓扑分布约束)

在多可用区(Multi-Zone)容灾场景下,传统的 podAntiAffinity 存在严重局限性:反亲和只能要求“同拓扑域不得重复”,无法实现“7 个 Pod 均匀分布在 3 个可用区(如 2-2-3 分布)”。 Kubernetes 引入了 Even Pod Spreading 特性,通过数学极差控制实现真正的跨域均匀负载:

满足约束超出允许极差DoNotSchedule 硬策略ScheduleAnyway 软策略新 Pod 准备调度按拓扑域分组统计指定Label 的 Pod 总数计算各拓扑域如果放入新Pod 后的 Skew 极差是否满足 Skew <=maxSkew?满足 Skew <=maxSkew?调度到该拓扑域的候选节点查看 whenUnsatisfiable参数拒绝调度: 卡在 Pending容忍偏差: 调度到次优域
maxSkew 数学公式
Skew=选定拓扑域中匹配 Pod 数−所有拓扑域中匹配 Pod 的最小值

例如配置 maxSkew: 1 时,所有可用区之间的 Pod 副本数量之差绝不允许超过 1 个!

yaml
topologySpreadConstraints:- maxSkew: 1  topologyKey: topology.kubernetes.io/zone  whenUnsatisfiable: DoNotSchedule  labelSelector:    matchLabels:      app: payment-api
跨可用区均匀调度的三大方案对比与局限性

为什么不使用传统方案实现 7 个 Pod 在 3 个 Zone 呈 2-2-3 均匀分布?

  • 方案 1(拆分为 3 个独立 Deployment 分别绑定不同 Zone):某个 Zone 整体故障时,其名下的 Pod 无法自动跨 Zone 漂移到健康可用区,丧失跨机房容灾自愈能力。
  • 方案 2(使用 PodAntiAffinity 反亲和):硬反亲和要求每个拓扑域最多 1 个 Pod(超出即 Pending),软反亲和则容易退化为 1-1-5 偏态分布,无法精确控制极差。
  • 方案 3(Even Pod Spreading 拓扑分布约束,生产首选):通过 maxSkew 严格控制各拓扑域副本数极差。
  • 使用注意点与局限性:
    1. 统计范围仅限同一 Namespace 下匹配 labelSelector 的 Pod,且只有打上了 topologyKey 标签的 Node 才参与统计与调度;多条 topologySpreadConstraints 规则之间以及与 nodeSelector/nodeAffinity 之间均为 AND(逻辑与) 关系。
    2. 静态调度局限:僅在 Pod 创建调度时生效;当后续某个 Pod 被删除或节点下线导致分布失衡时,原生 Scheduler 不会主动重新平衡(Rebalance),需配合下文的 Descheduler 组件治理。
B

集群重平衡利器:Descheduler 重调度器

Kube-Scheduler 的致命局限:调度决策是一次性的(One-time Decision)。当一个 Pod 被调度到 Node A 后,即使后续:

  1. 节点 A 资源利用率飙升到 95%,而新扩容的节点 B 利用率仅 5%;
  2. 节点宕机恢复后,原有 Pod 依然聚集在旧节点,无法自动“回迁”; Kubernetes 原生调度器绝不会主动搬迁或重新调度运行中的 Pod!

为此,Kubernetes 生态开发了专职的 Descheduler 组件:

重平衡闭环Descheduler 周期巡检发现严重负载失衡 / 亲和性冲突安全驱逐失衡 Pod (向API Server 发起Eviction)Controller 监听到副本缺失触发自愈Kube-Scheduler 介入将新 Pod 调度到空闲节点

Descheduler 五大核心策略

策略名称 策略核心行为 生产收益
LowNodeUtilization 识别 CPU/内存低于 20% 的低负载节点与高于 70% 的高负载节点,将 Pod 从高载迁往低载 平抑集群热点,提升整体资源利用率
HighNodeUtilization 集中装箱策略。主动腾空低负载节点,便于触发 Cluster Autoscaler 缩容机器下线省钱 显著削减公有云机器账单
RemoveDuplicates 发现同一个 Deployment/RS 的多个副本堆叠在同一物理机时,主动驱逐打散 杜绝单宿主机故障引发服务不可用
RemovePodsViolatingNodeAffinity 驱逐已经不再满足节点硬亲和性(如节点标签被管理员更新)的 Pod 纠正偏离合规策略的历史 Pod
RemovePodsViolatingTopologySpreadConstraint 修正因节点重启或临时容忍导致的不均匀分布状态 持续保证多机房容灾配比恒定
Descheduler 免驱逐白名单与驱逐优先级顺序
  • 核心参数:thresholds(低利用率阈值,如 20%)、targetThresholds(高利用率阈值,如 70%)、numberOfNodes(触发平衡所需的最少低负载节点数)、useDeviationThresholds(使用相对集群平均利用率的偏差作为阈值)、evictLocalStoragePods(是否允许驱逐挂载了本地存储的 Pod)。
  • 天然免驱逐保护白名单(不会被 Descheduler 驱逐的 Pod):
    1. 打上了 system-cluster-critical 或 system-node-critical 最高优先级的系统关键 Pod;
    2. 静态 Pod(Static Pod)、裸 Pod(不受 RS/Deployment/Job 控制器管理的独立 Pod)以及 DaemonSet 管理的守护进程 Pod;
    3. 挂载了 Local Storage 或 PVC 的有状态 Pod(除非显式开启 evictLocalStoragePods / ignorePvcPods);
    4. 驱逐后会违反下述 PDB (PodDisruptionBudget) 最低可用副本预算的 Pod。
  • 驱逐先后顺序:在 LowNodeUtilization 等策略下,优先驱逐 PriorityClass 优先级数值从低到高 的 Pod;同优先级下,严格按照 BestEffort > Burstable > Guaranteed 的顺序驱逐。
C

业务高可用防线:PDB (PodDisruptionBudget)

在执行集群维护操作(如 kubectl drain node-1 排空节点升级内核,或 Descheduler 驱逐 Pod 时),极易因为并发驱逐导致单副本业务或小副本集群发生瞬间中断! PDB (Pod Disruption Budget) 用于为自愿中断(Voluntary Disruptions)设置防线:

yaml
apiVersion: policy/v1kind: PodDisruptionBudgetmetadata:  name: order-api-pdbspec:  minAvailable: 2        # 关键约束:任何时刻必须至少保留 2 个健康副本处于可用状态  selector:    matchLabels:      app: order-api
PDB 拦截保护机制
  • 当运维执行 kubectl drain 时,API Server 会首先检查 PDB 限制。
  • 若驱逐该 Pod 会导致存活副本数低于 minAvailable,API Server 直接拒绝本次驱逐请求,直到新 Pod 在其他节点就绪后才放行下一次驱逐。
D

优先级抢占调度 (Priority & Preemption)

当生产集群出现资源枯竭(所有 Node CPU 均打满,新 Pod 均无法通过预选)时,核心关键业务必须能够抢占非核心任务的资源。

评估牺牲品高优先级 Pod (Priority:100000) 提交预选发现全集群无节点可满足资源触发抢占算法Preemption遍历低优先级 Pod(Priority: 0)驱逐满足资源需求的低优先级 Pod高优先级 Pod 成功绑定该Node 并拉起
PriorityClass 优先级数值规范与三大概念辨析
  • 优先级范围:系统内置了最高优先级类别 system-cluster-critical 与 system-node-critical(整数值超过 20 亿,专供 CoreDNS、Flannel 等关键组件使用)。业务可在 0 ~ 10 亿之间自定义 PriorityClass,未指定时默认为 0。
  • 调度 vs 抢占 vs 驱逐 核心区别:
    1. 调度 (Scheduling):Kube-Scheduler 根据节点 requests 账面已分配量的总和(kubectl describe node 所见的 Allocated resources,而非物理真实消耗)执行预选+优选。
    2. 抢占 (Preemption):在创建高优先级新 Pod 因节点账面 requests 不足而 Pending 时由 Scheduler 触发,依据是 priorityClassName(无视标签或低优先级保护,直接杀低优先级 Pod 腾位置)。
    3. 压力驱逐 (Eviction):在节点物理真实资源耗尽突破预设水位线时由节点本地 Kubelet 触发,依据是 QoS 等级与真实用量(即使某个 Pod 的 PriorityClass 很高,如果它是未设 limits 的 BestEffort 或超用严重的 Burstable,在内存危机时同样会被优先驱逐!)。
E

Kubelet 节点压力驱逐 (Node Eviction) 全景

当物理节点真实资源耗尽时,Kubelet 会主动发起硬驱逐或软驱逐,防止内核崩溃宕机:

软驱逐 (Soft Eviction)
达到阈值后启动宽限期等待 (如等待 90s),平滑平稳迁移
硬驱逐 (Hard Eviction)
达到阈值立即强杀 Pod,绝无任何缓冲等待

驱逐触发核心指标与 QoS 驱逐顺序

  1. 三大压力状态与底层探测源:Kubelet 通过直接读取底层 Cgroup 统计文件(而非 free 命令)实时监控三类压力并上报 Node Condition:
    • MemoryPressure:memory.available < 100Mi(触发时按照 BestEffort -> Burstable -> Guaranteed 的 QoS 顺序及真实内存超用比例驱逐)。
    • DiskPressure:分为 nodefs(宿主机根文件系统及 /var/lib/kubelet,含 nodefs.available < 10% 与 nodefs.inodesFree < 5%)与 imagefs(容器镜像与可写层存储目录 imagefs.available < 15%)。注意:磁盘不足驱逐不看 QoS 等级,直接按实际磁盘占用大小排序驱逐并执行镜像/死容器 GC 清理!
    • PIDPressure:宿主机进程号枯竭(pid.available < 5%)。
  2. 软驱逐 vs 硬驱逐:
    • 软驱逐配置宽限期与优雅终止时间,驱逐至水位回到阈值以下即停;
    • 硬驱逐(--eviction-hard)零宽限期直接 SIGKILL 强杀,且一直驱逐到满足 --eviction-minimum-reclaim(最小资源回收缓冲量)才停止,防止水位在临界点反复震荡。
  3. 容灾最佳实践:当应用真正做到计算与状态分离(Stateless)、挂载分布式存储且通过 Service/CoreDNS 寻址时,任何节点驱逐重建均可在秒级自愈,同时建议适当调长 kube-controller-manager 的驱逐容忍期以避免瞬时网络抖动引发大规模误驱逐。

← 返回 Kubernetes 知识库总索引