Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

HDFS 分布式存储架构、元数据持久化与高可用 (HA) 机制

Hadoop 三层基石、NameNode 内存目录树、FSImage+JournalNode 融合及 ZKFC 自动选主

A

Hadoop 大数据平台三层核心架构

Hadoop 是整个项目大数据离线分析集群的底座。它本质上通过将超大规模计算与存储分散到廉价机器集群中,解决了单机磁盘容量瓶颈与单机算力上限问题。

并行计算任务申请集群 CPU / 内存资源分布式读取与落盘 Block 数据数据接入 / 上层 SQL计算层: MapReduce ->Spark调度层: YARN存储层: HDFS
架构层次 核心组件 核心定位与比喻 演进与生态替代方案
存储层 HDFS 天然分库分表的分布式文件 DB;切分大文件为固定块并默认三副本容灾 底座不可替代,持续服务于 Spark、Hive、HBase
调度层 YARN 集群资源大管家;由 ResourceManager 全局分配 + NodeManager 单机执行 负责统一托管 MapReduce、Spark、Flink 等计算引擎资源
计算层 MapReduce 早期磁盘级分布式计算模型(Map 拆分 -> Shuffle 归并 -> Reduce 合并) 已被 Spark 全面替换(内存计算 + DAG 执行计划)
SQL 引擎 Hive 将人类可读的 SQL 语法自动编译转换成底层 MapReduce 任务执行 SparkSQL 替代 Hive 底层引擎(链路演进为 Hive -> Spark -> HDFS)
B

HDFS 主从架构三大角色深度解析

HDFS 采用经典的 Master / Worker 主从架构,核心设计铁律是:控制流(元数据查询)与数据流(实际读写)彻底分离——客户端先和 NameNode 交互获取位置,再直接操作 DataNode 节点读写数据,避免 NameNode 成为网络带宽瓶颈。

1. 请求文件路径与 Block 元数据位置2. 返回目标 DataNode 地址列表3. 直连读写 128MB Block 块副本 2 流水线复制副本 3 流水线复制定期发送心跳 (Heartbeat) 与块汇报定期发送心跳 (Heartbeat) 与块汇报定期发送心跳 (Heartbeat) 与块汇报HDFS Client 客户端NameNode (Master)DataNode 1 (Worker)DataNode 2 (Worker)DataNode 3 (Worker)
  • HDFS Client(客户端):负责按 128MB 固定大小切分文件为 Block,对外屏蔽分布式细节;先询问 NameNode 拿到块位置,再直连 DataNode 执行高速读写。
  • NameNode(Master 主节点):仅存放元数据(文件目录树结构、权限、文件与 Block 映射关系)在内存中。需要大容量 RAM,但不直接存储任何文件实际字节;必须做高可用备份防止单点故障。
  • DataNode(Worker 工作节点):实际存放 Block 数据块在本地磁盘,需要海量磁盘空间;默认每个 Block 保留 3 份副本保障高可用,并周期性向 NameNode 发送心跳报告存活与持有块清单。
C

NameNode 元数据持久化:edit_log、FSImage 与 JournalNode

NameNode 将整个文件目录树保存在内存中以保证微秒级寻址速度。一旦机器断电内存清空,元数据就会永久丢失。因此 HDFS 演进出一套严谨的磁盘持久化机制:

  1. 仅用 edit_log 的困境:每次元数据变更(创建文件、修改权限、删除目录)都将操作流水追加写入磁盘 edit_log。然而集群运行数月后 edit_log 会膨胀至数十 GB,NameNode 重启时必须从头逐条重放(Replay)所有日志重建内存树,耗时极长甚至数小时不可用。
  2. 引入 FSImage + JournalNode + 备节点合并(Checkpointing):
    • FSImage:某一历史时刻 NameNode 内存元数据的全量镜像快照文件。
    • JournalNode 集群:独立运行的奇数台日志共享同步集群(如 3 台)。Active NameNode 每次修改元数据,同时将 edit_log 写入本地磁盘与 JournalNode 集群(需多数派确认)。
    • Standby / Backup NameNode 后台合并:备 NameNode 持续从 JournalNode 实时拉取增量 edit_log 在自己内存中回放,使内存状态与主节点几乎保持同步;每隔一定时间或日志条数阈值,将自己内存中的最新状态全量保存为新的 FSImage 并回传给 Active NameNode 替换旧快照,同时截断老旧 edit_log。
1. 顺序追加元数据操作日志2. 网络同步增量 edit_log3. 持续拉取并实时内存回放4. 定期合并生成新镜像并回传 Active 替换Active NameNode本地磁盘 edit_logJournalNode 集群 (3台)Standby NameNode新全量 FSImage 快照
为什么合并后的重启速度提升百倍?

重启时 NameNode 只需直接加载最新全量快照 FSImage 到内存(毫秒/秒级映射),再仅回放快照时间点之后极少量的增量 edit_log 即可恢复服务,彻底消灭了无限重放历史流水的痛点。

D

HDFS 高可用 (HA) 与自动故障转移架构

为了彻底消除 NameNode 单点故障(SPOF),Hadoop HA 部署 Active NameNode(对外提供读写服务)与 Standby NameNode(实时同步元数据热备),并在每台 NameNode 宿主机上配套运行 ZKFC(ZKFailoverController) 与 ZooKeeper 集群协同完成秒级自动切换。

Active 节点监控栈Standby 节点监控栈HealthMonitor 定期健康探测HealthMonitor 定期健康探测ActiveStandbyElector 竞争临时锁与状态汇报ActiveStandbyElector 监听 Active 锁节点状态ZKFC 1Active NameNode 宿主机ZKFC 2Standby NameNode 宿主机ZooKeeper 仲裁集群
伴生守护模块 所属宿主组件 核心工作原理
HealthMonitor 运行在 ZKFC 内部 定期向本地 NameNode 发起健康检查(RPC 探活),一旦超时或返回异常立刻上报给上层控制器
ZKFailoverController (ZKFC) 与 NameNode 同机部署的独立进程 接收 HealthMonitor 的失败通知,负责协调状态隔离(Fencing)与主备状态切换触发
ActiveStandbyElector 运行在 ZKFC 内部 封装 ZooKeeper 客户端逻辑,在 ZooKeeper 中争抢创建临时有序锁节点;抢占成功者对应的 NameNode 升格为 Active,失败者持续 Watch 锁节点

自动故障转移完整时序

HealthMonitor_1ZKFC_1Active_NN1ZooKeeperZKFC_2Standby_NN2正常持有 Active 临时锁节点11. 定期健康探测 RPC22. 进程假死 / 无响应 (超时失败)33. 触发节点不健康告警事件44. 主动释放或因会话超时自动删除Active 临时锁55. Watch 监听触发锁释放事件通知66. ActiveStandbyElector 抢占创建新临时锁成功77. 执行 Fencing 隔离防脑裂(确认旧主降级)88. 切换状态为 Active NameNode 并接管全部服务9