Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
HDFS 分布式存储架构、元数据持久化与高可用 (HA) 机制
Hadoop 三层基石、NameNode 内存目录树、FSImage+JournalNode 融合及 ZKFC 自动选主
Hadoop 大数据平台三层核心架构
Hadoop 是整个项目大数据离线分析集群的底座。它本质上通过将超大规模计算与存储分散到廉价机器集群中,解决了单机磁盘容量瓶颈与单机算力上限问题。
| 架构层次 | 核心组件 | 核心定位与比喻 | 演进与生态替代方案 |
|---|---|---|---|
| 存储层 | HDFS | 天然分库分表的分布式文件 DB;切分大文件为固定块并默认三副本容灾 | 底座不可替代,持续服务于 Spark、Hive、HBase |
| 调度层 | YARN | 集群资源大管家;由 ResourceManager 全局分配 + NodeManager 单机执行 |
负责统一托管 MapReduce、Spark、Flink 等计算引擎资源 |
| 计算层 | MapReduce | 早期磁盘级分布式计算模型(Map 拆分 -> Shuffle 归并 -> Reduce 合并) |
已被 Spark 全面替换(内存计算 + DAG 执行计划) |
| SQL 引擎 | Hive | 将人类可读的 SQL 语法自动编译转换成底层 MapReduce 任务执行 | SparkSQL 替代 Hive 底层引擎(链路演进为 Hive -> Spark -> HDFS) |
HDFS 主从架构三大角色深度解析
HDFS 采用经典的 Master / Worker 主从架构,核心设计铁律是:控制流(元数据查询)与数据流(实际读写)彻底分离——客户端先和 NameNode 交互获取位置,再直接操作 DataNode 节点读写数据,避免 NameNode 成为网络带宽瓶颈。
- HDFS Client(客户端):负责按 128MB 固定大小切分文件为
Block,对外屏蔽分布式细节;先询问NameNode拿到块位置,再直连DataNode执行高速读写。 - NameNode(Master 主节点):仅存放元数据(文件目录树结构、权限、文件与 Block 映射关系)在内存中。需要大容量 RAM,但不直接存储任何文件实际字节;必须做高可用备份防止单点故障。
- DataNode(Worker 工作节点):实际存放 Block 数据块在本地磁盘,需要海量磁盘空间;默认每个 Block 保留 3 份副本保障高可用,并周期性向 NameNode 发送心跳报告存活与持有块清单。
NameNode 元数据持久化:edit_log、FSImage 与 JournalNode
NameNode 将整个文件目录树保存在内存中以保证微秒级寻址速度。一旦机器断电内存清空,元数据就会永久丢失。因此 HDFS 演进出一套严谨的磁盘持久化机制:
- 仅用
edit_log的困境:每次元数据变更(创建文件、修改权限、删除目录)都将操作流水追加写入磁盘edit_log。然而集群运行数月后edit_log会膨胀至数十 GB,NameNode 重启时必须从头逐条重放(Replay)所有日志重建内存树,耗时极长甚至数小时不可用。 - 引入
FSImage+JournalNode+ 备节点合并(Checkpointing):FSImage:某一历史时刻 NameNode 内存元数据的全量镜像快照文件。JournalNode集群:独立运行的奇数台日志共享同步集群(如 3 台)。Active NameNode 每次修改元数据,同时将edit_log写入本地磁盘与 JournalNode 集群(需多数派确认)。- Standby / Backup NameNode 后台合并:备 NameNode 持续从 JournalNode 实时拉取增量
edit_log在自己内存中回放,使内存状态与主节点几乎保持同步;每隔一定时间或日志条数阈值,将自己内存中的最新状态全量保存为新的FSImage并回传给 Active NameNode 替换旧快照,同时截断老旧edit_log。
为什么合并后的重启速度提升百倍?
重启时 NameNode 只需直接加载最新全量快照 FSImage 到内存(毫秒/秒级映射),再仅回放快照时间点之后极少量的增量 edit_log 即可恢复服务,彻底消灭了无限重放历史流水的痛点。
HDFS 高可用 (HA) 与自动故障转移架构
为了彻底消除 NameNode 单点故障(SPOF),Hadoop HA 部署 Active NameNode(对外提供读写服务)与 Standby NameNode(实时同步元数据热备),并在每台 NameNode 宿主机上配套运行 ZKFC(ZKFailoverController) 与 ZooKeeper 集群协同完成秒级自动切换。
| 伴生守护模块 | 所属宿主组件 | 核心工作原理 |
|---|---|---|
| HealthMonitor | 运行在 ZKFC 内部 | 定期向本地 NameNode 发起健康检查(RPC 探活),一旦超时或返回异常立刻上报给上层控制器 |
| ZKFailoverController (ZKFC) | 与 NameNode 同机部署的独立进程 | 接收 HealthMonitor 的失败通知,负责协调状态隔离(Fencing)与主备状态切换触发 |
| ActiveStandbyElector | 运行在 ZKFC 内部 | 封装 ZooKeeper 客户端逻辑,在 ZooKeeper 中争抢创建临时有序锁节点;抢占成功者对应的 NameNode 升格为 Active,失败者持续 Watch 锁节点 |