Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
YARN 资源调度核心架构、作业生命周期与脑裂隔离 (Fencing)
三大核心组件职责拆解、作业四阶段十一跳全链路及 ZooKeeper ACL 防双主机制
YARN 定位与三大核心组件架构
YARN(Yet Another Resource Negotiator) 于 Hadoop 2.0 正式引入,定位在底层存储 HDFS 与上层计算引擎(MapReduce / Spark / Flink)之间的通用资源管理与调度中间层。它打破了 Hadoop 1.x 中 JobTracker 既管全局资源又管单个作业生命周期导致的性能瓶颈。
| 核心组件 | 内部子模块与进程形态 | 核心职责剖析 |
|---|---|---|
| ResourceManager (RM) | 可插拔 Scheduler(纯资源调度算法)+ ApplicationManager(管理集群用户 Job 接收与 AM 监控) | 集群唯一全局资源仲裁中心,不参与具体作业内部任务监控,大幅降低主节点负载 |
| NodeManager (NM) | 每台工作节点常驻单个守护进程 | 实时监控并向 RM 上报单节点资源使用情况;负责创建/销毁本地 Container 并监控运行在其上的 Task |
| ApplicationMaster (AM) | 运行中根据每个用户 Job 动态生成的专属进程 | 介于 RM 与 NM 之间的桥梁:向 RM 申请作业所需的若干节点计算资源,再到分配好的节点上与 NM 交互启动、监控所有具体 Task 并负责失败重试 |
YARN 作业执行四阶段端到端完整工作流程
当用户通过客户端向 YARN 提交一个计算任务时,控制流与数据流严格按以下 4 大阶段协同推进:
ResourceManager 高可用 (HA) 主备切换机制
与 HDFS NameNode 类似,YARN 的 ResourceManager 在单节点部署时存在单点故障风险。生产环境通过接入 ZooKeeper 集群 配置 Active RM + Standby RM 主备架构实现高可用:
- 竞争选举:多台 RM 同时向 ZooKeeper 尝试创建同一个锁节点(竞争写一个 Lock),写入成功的 RM 晋升为 Active,其余均保持 Standby。
- 状态监听与接管:所有 Standby RM 实时监听(Watch)ZooKeeper 中 Active 节点的状态;一旦 Active RM 进程崩溃或心跳超时丢失锁,Standby RM 收到通知后立即再次执行步骤 1 竞争写锁,胜出者自动接管全部调度队列与集群状态。
脑裂隔离 (Fencing) 深度解析:如何基于 ZooKeeper ACL 防止 Split-Brain?
在网络抖动或 JVM 长时间 Full GC(垃圾回收停顿)的极端场景下,分布式集群极易发生致命的 脑裂问题(Split-Brain)。
假设 RM 1 并没有真正死亡,只是因为短暂 GC 卡顿或网络闪断导致与 ZooKeeper 心跳超时。此时 ZooKeeper 认为 RM 1 已挂掉,释放锁并推选 RM 2 成为新的 Active RM。几秒后 RM 1 苏醒恢复,它依然自认为自己是 Active RM,导致集群中同时出现两个 Active ResourceManager 同时对同一批 NodeManager 和状态存储发号施令,引发任务重复下发与数据严重错乱!
ZooKeeper ACL 权限隔离机制破局流程
为了彻底解决 Split-Brain,YARN 引入了基于 ZooKeeper ACL(Access Control List)权限控制 的强隔离(Fencing)机制:
Fencing 不依赖“远程 SSH 强杀旧进程”(因为网络分区时可能连不上旧机),而是利用外部强一致权威存储(ZooKeeper)的 ACL 权限收回 作为唯一写入门槛:任何失去权威节点写入权限的假死主节点,只要试图修改状态就会立刻触发异常并主动降级自保。