主题
A Kube-Scheduler 两阶段调度决策模型
Kubernetes 调度器(kube-scheduler)负责监听未绑定的 Pod,并为其从海量物理机节点中挑选出最合适的一个节点。调度过程严格分为两阶段:
flow
[新创建待调度 Pod] -> [第一阶段: 预选过滤 Filtering]
[集群全部可用节点] -> [第一阶段: 预选过滤 Filtering]
[第一阶段: 预选过滤 Filtering] -> {是否有可用节点?}
{是否有可用节点?} -> (调度失败: 处于 Pending 状态): 无可用节点
{是否有可用节点?} -> [第二阶段: 优选打分 Scoring]: 存在合格候选节点
[第二阶段: 优选打分 Scoring] -> [计算每个节点加权总分 Score]
[计算每个节点加权总分 Score] -> [选定最高分节点 Node X]
[选定最高分节点 Node X] -> [向 API Server 提交 Binding 绑定]callout
1. **预选过滤 (Filtering)**:硬性指标筛选。检查节点 CPU/内存余量是否满足 `requests`、端口是否冲突、节点选择器与硬亲和是否匹配、节点污点是否被容忍。不满足者直接被一票否决淘汰。
2. **优选打分 (Scoring)**:多维权重打分。对通过预选的节点集合,根据空闲资源平衡(NodeResourcesBalancedAllocation)、软亲和匹配度、镜像本地命中等算法分别打分(0~100 分),按公式计算加权和:
$$\text{FinalScore} = \sum_{i=1}^{m} (\text{PriorityFunction}_i \times \text{Weight}_i)$$
若出现最高分平局,调度器在平局节点中随机轮询挑选一个。B 节点标签与 NodeSelector / NodeAffinity
1. 基础节点选择器 (nodeSelector)
通过简单的 Key-Value 匹配节点标签(例如将含 GPU 的节点打标 hardware=gpu,在 Pod 中配置 nodeSelector: {hardware: gpu})。由于不支持复杂的布尔逻辑,仅适用于简单场景。
2. 节点亲和性 (NodeAffinity)
NodeAffinity 提供了远比 nodeSelector 强大的匹配能力(支持 In, NotIn, Exists, DoesNotExist, Gt, Lt 等操作符):
kv
硬亲和 (requiredDuringScheduling): 必须满足!不满足则 Pod 永远卡在 Pending 状态拒绝调度
软亲和 (preferredDuringScheduling): 尽量满足!设置权重 weight,满足者加分,不满足也允许调度到其他节点yaml
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: topology.kubernetes.io/zone
operator: In
values: ["zone-a", "zone-b"] # 必须位于可用区 A 或 B
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 80
preference:
matchExpressions:
- key: disktype
operator: In
values: ["nvme-ssd"] # 优先调度到 NVMe SSD 节点C Pod 间亲和性与反亲和性 (PodAffinity & AntiAffinity)
不仅可以根据节点的属性调度,还可以根据节点上已经运行了哪些 Pod 来决策当前 Pod 的调度落点:
flow
[微服务 App Pod] -> [Redis 缓存 Pod 所在节点]: PodAffinity 聚集部署 (减少网络跳数)
[Web 前端 Pod A] -> [远离 Web 前端 Pod B]: PodAntiAffinity 反亲和打散 (防单点故障)
group 聚集亲和: 微服务 App Pod, Redis 缓存 Pod 所在节点
group 分散反亲和: Web 前端 Pod A, 远离 Web 前端 Pod Bcallout
`topologyKey` 定义了“亲和或反亲和的空间范围”:
- `topologyKey: kubernetes.io/hostname`:以**单台物理主机**为边界(反亲和意味着同一个宿主机上只能跑 1 个副本)。
- `topologyKey: topology.kubernetes.io/zone`:以**整个可用区/机房**为边界(反亲和意味着同一个可用区内只能跑 1 个副本,实现跨机房多活容灾!)。D 污点 (Taints) 与容忍 (Tolerations)
节点亲和是“Pod 主动挑选 Node”,而污点(Taint)则是“Node 主动排斥某些 Pod”。节点通过被打上污点拒绝普通 Pod 进驻;Pod 通过声明容忍(Toleration)获得进驻特定污点节点的特权通行证。
flow
[打上污点专用节点 GPU Node] -> {Pod 是否具备对应 Toleration?}
{Pod 是否具备对应 Toleration?} -> [允许调度并在该节点拉起]: 拥有匹配容忍
{Pod 是否具备对应 Toleration?} -> (排斥抛弃,禁止调度进驻): 无容忍污点的三大作用效果 (Effect)
| 污点效果 (Effect) | 调度期行为 | 运行期已有 Pod 行为 | 经典应用场景 |
|---|---|---|---|
| NoSchedule | 硬限制。未声明容忍的 Pod 绝不调度到该节点 | 已在此节点运行的 Pod 不受任何影响,继续运行 | Master 控制平面节点保护、专用计算集群隔离 |
| PreferNoSchedule | 软限制。调度器尽量不调度到该节点,资源极度匮乏时作为兜底 | 已在此节点运行的 Pod 不受任何影响,继续运行 | 接近过载节点避让、维护准备期节点 |
| NoExecute | 即时驱逐。不仅不调度新 Pod,还会立即追溯并驱逐已存在的未容忍 Pod! | 未容忍该污点的旧 Pod 立即被驱逐销毁! | 硬件物理损坏、网络彻底失联故障节点 |
callout
1. **心跳超时**:Kubelet 超过 50 秒未更新 Lease 心跳,Node Controller 将节点置为 `NotReady`。
2. **自动打污点**:控制器自动为该节点打上 `node.kubernetes.io/unreachable:NoExecute` 污点。
3. **300 秒容忍宽限期**:Deployment 的普通 Pod 默认注入了 300 秒的容忍(`tolerationSeconds: 300`)。若 300 秒内网络恢复,污点自动移除,Pod 零停机继续运行;若 300 秒未恢复,Pod 被强制驱逐并在健康节点重建。