Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
集群高级调度、资源平衡与驱逐机制
拓扑均匀分布、Descheduler 重平衡、PDB 预算与节点驱逐深度解析
均匀调度:Even Pod Spreading (拓扑分布约束)
在多可用区(Multi-Zone)容灾场景下,传统的 podAntiAffinity 存在严重局限性:反亲和只能要求“同拓扑域不得重复”,无法实现“7 个 Pod 均匀分布在 3 个可用区(如 2-2-3 分布)”。
Kubernetes 引入了 Even Pod Spreading 特性,通过数学极差控制实现真正的跨域均匀负载:
例如配置 maxSkew: 1 时,所有可用区之间的 Pod 副本数量之差绝不允许超过 1 个!
topologySpreadConstraints:- maxSkew: 1 topologyKey: topology.kubernetes.io/zone whenUnsatisfiable: DoNotSchedule labelSelector: matchLabels: app: payment-api为什么不使用传统方案实现 7 个 Pod 在 3 个 Zone 呈 2-2-3 均匀分布?
- 方案 1(拆分为 3 个独立 Deployment 分别绑定不同 Zone):某个 Zone 整体故障时,其名下的 Pod 无法自动跨 Zone 漂移到健康可用区,丧失跨机房容灾自愈能力。
- 方案 2(使用 PodAntiAffinity 反亲和):硬反亲和要求每个拓扑域最多 1 个 Pod(超出即 Pending),软反亲和则容易退化为
1-1-5偏态分布,无法精确控制极差。 - 方案 3(Even Pod Spreading 拓扑分布约束,生产首选):通过
maxSkew严格控制各拓扑域副本数极差。 - 使用注意点与局限性:
- 统计范围仅限同一 Namespace 下匹配
labelSelector的 Pod,且只有打上了topologyKey标签的 Node 才参与统计与调度;多条topologySpreadConstraints规则之间以及与nodeSelector/nodeAffinity之间均为 AND(逻辑与) 关系。 - 静态调度局限:僅在 Pod 创建调度时生效;当后续某个 Pod 被删除或节点下线导致分布失衡时,原生 Scheduler 不会主动重新平衡(Rebalance),需配合下文的 Descheduler 组件治理。
- 统计范围仅限同一 Namespace 下匹配
集群重平衡利器:Descheduler 重调度器
Kube-Scheduler 的致命局限:调度决策是一次性的(One-time Decision)。当一个 Pod 被调度到 Node A 后,即使后续:
- 节点 A 资源利用率飙升到 95%,而新扩容的节点 B 利用率仅 5%;
- 节点宕机恢复后,原有 Pod 依然聚集在旧节点,无法自动“回迁”; Kubernetes 原生调度器绝不会主动搬迁或重新调度运行中的 Pod!
为此,Kubernetes 生态开发了专职的 Descheduler 组件:
Descheduler 五大核心策略
| 策略名称 | 策略核心行为 | 生产收益 |
|---|---|---|
| LowNodeUtilization | 识别 CPU/内存低于 20% 的低负载节点与高于 70% 的高负载节点,将 Pod 从高载迁往低载 | 平抑集群热点,提升整体资源利用率 |
| HighNodeUtilization | 集中装箱策略。主动腾空低负载节点,便于触发 Cluster Autoscaler 缩容机器下线省钱 | 显著削减公有云机器账单 |
| RemoveDuplicates | 发现同一个 Deployment/RS 的多个副本堆叠在同一物理机时,主动驱逐打散 | 杜绝单宿主机故障引发服务不可用 |
| RemovePodsViolatingNodeAffinity | 驱逐已经不再满足节点硬亲和性(如节点标签被管理员更新)的 Pod | 纠正偏离合规策略的历史 Pod |
| RemovePodsViolatingTopologySpreadConstraint | 修正因节点重启或临时容忍导致的不均匀分布状态 | 持续保证多机房容灾配比恒定 |
- 核心参数:
thresholds(低利用率阈值,如 20%)、targetThresholds(高利用率阈值,如 70%)、numberOfNodes(触发平衡所需的最少低负载节点数)、useDeviationThresholds(使用相对集群平均利用率的偏差作为阈值)、evictLocalStoragePods(是否允许驱逐挂载了本地存储的 Pod)。 - 天然免驱逐保护白名单(不会被 Descheduler 驱逐的 Pod):
- 打上了
system-cluster-critical或system-node-critical最高优先级的系统关键 Pod; - 静态 Pod(Static Pod)、裸 Pod(不受 RS/Deployment/Job 控制器管理的独立 Pod)以及 DaemonSet 管理的守护进程 Pod;
- 挂载了 Local Storage 或 PVC 的有状态 Pod(除非显式开启
evictLocalStoragePods/ignorePvcPods); - 驱逐后会违反下述 PDB (PodDisruptionBudget) 最低可用副本预算的 Pod。
- 打上了
- 驱逐先后顺序:在
LowNodeUtilization等策略下,优先驱逐 PriorityClass 优先级数值从低到高 的 Pod;同优先级下,严格按照 BestEffort > Burstable > Guaranteed 的顺序驱逐。
业务高可用防线:PDB (PodDisruptionBudget)
在执行集群维护操作(如 kubectl drain node-1 排空节点升级内核,或 Descheduler 驱逐 Pod 时),极易因为并发驱逐导致单副本业务或小副本集群发生瞬间中断!
PDB (Pod Disruption Budget) 用于为自愿中断(Voluntary Disruptions)设置防线:
apiVersion: policy/v1kind: PodDisruptionBudgetmetadata: name: order-api-pdbspec: minAvailable: 2 # 关键约束:任何时刻必须至少保留 2 个健康副本处于可用状态 selector: matchLabels: app: order-api- 当运维执行
kubectl drain时,API Server 会首先检查 PDB 限制。 - 若驱逐该 Pod 会导致存活副本数低于
minAvailable,API Server 直接拒绝本次驱逐请求,直到新 Pod 在其他节点就绪后才放行下一次驱逐。
优先级抢占调度 (Priority & Preemption)
当生产集群出现资源枯竭(所有 Node CPU 均打满,新 Pod 均无法通过预选)时,核心关键业务必须能够抢占非核心任务的资源。
- 优先级范围:系统内置了最高优先级类别
system-cluster-critical与system-node-critical(整数值超过 20 亿,专供 CoreDNS、Flannel 等关键组件使用)。业务可在 0 ~ 10 亿之间自定义PriorityClass,未指定时默认为 0。 - 调度 vs 抢占 vs 驱逐 核心区别:
- 调度 (Scheduling):Kube-Scheduler 根据节点
requests账面已分配量的总和(kubectl describe node所见的 Allocated resources,而非物理真实消耗)执行预选+优选。 - 抢占 (Preemption):在创建高优先级新 Pod 因节点账面
requests不足而 Pending 时由 Scheduler 触发,依据是priorityClassName(无视标签或低优先级保护,直接杀低优先级 Pod 腾位置)。 - 压力驱逐 (Eviction):在节点物理真实资源耗尽突破预设水位线时由节点本地 Kubelet 触发,依据是 QoS 等级与真实用量(即使某个 Pod 的 PriorityClass 很高,如果它是未设 limits 的 BestEffort 或超用严重的 Burstable,在内存危机时同样会被优先驱逐!)。
- 调度 (Scheduling):Kube-Scheduler 根据节点
Kubelet 节点压力驱逐 (Node Eviction) 全景
当物理节点真实资源耗尽时,Kubelet 会主动发起硬驱逐或软驱逐,防止内核崩溃宕机:
- 软驱逐 (Soft Eviction)
- 达到阈值后启动宽限期等待 (如等待 90s),平滑平稳迁移
- 硬驱逐 (Hard Eviction)
- 达到阈值立即强杀 Pod,绝无任何缓冲等待
驱逐触发核心指标与 QoS 驱逐顺序
- 三大压力状态与底层探测源:Kubelet 通过直接读取底层 Cgroup 统计文件(而非
free命令)实时监控三类压力并上报 Node Condition:- MemoryPressure:
memory.available < 100Mi(触发时按照 BestEffort -> Burstable -> Guaranteed 的 QoS 顺序及真实内存超用比例驱逐)。 - DiskPressure:分为
nodefs(宿主机根文件系统及/var/lib/kubelet,含nodefs.available < 10%与nodefs.inodesFree < 5%)与imagefs(容器镜像与可写层存储目录imagefs.available < 15%)。注意:磁盘不足驱逐不看 QoS 等级,直接按实际磁盘占用大小排序驱逐并执行镜像/死容器 GC 清理! - PIDPressure:宿主机进程号枯竭(
pid.available < 5%)。
- MemoryPressure:
- 软驱逐 vs 硬驱逐:
- 软驱逐配置宽限期与优雅终止时间,驱逐至水位回到阈值以下即停;
- 硬驱逐(
--eviction-hard)零宽限期直接SIGKILL强杀,且一直驱逐到满足--eviction-minimum-reclaim(最小资源回收缓冲量)才停止,防止水位在临界点反复震荡。
- 容灾最佳实践:当应用真正做到计算与状态分离(Stateless)、挂载分布式存储且通过 Service/CoreDNS 寻址时,任何节点驱逐重建均可在秒级自愈,同时建议适当调长
kube-controller-manager的驱逐容忍期以避免瞬时网络抖动引发大规模误驱逐。