主题
A Hadoop 大数据平台三层核心架构
Hadoop 是整个项目大数据离线分析集群的底座。它本质上通过将超大规模计算与存储分散到廉价机器集群中,解决了单机磁盘容量瓶颈与单机算力上限问题。
flow
[数据接入 / 上层 SQL] -> [计算层: MapReduce -> Spark]: 并行计算任务
[计算层: MapReduce -> Spark] -> [调度层: YARN]: 申请集群 CPU / 内存资源
[调度层: YARN] -> [存储层: HDFS]: 分布式读取与落盘 Block 数据| 架构层次 | 核心组件 | 核心定位与比喻 | 演进与生态替代方案 |
|---|---|---|---|
| 存储层 | HDFS | 天然分库分表的分布式文件 DB;切分大文件为固定块并默认三副本容灾 | 底座不可替代,持续服务于 Spark、Hive、HBase |
| 调度层 | YARN | 集群资源大管家;由 ResourceManager 全局分配 + NodeManager 单机执行 | 负责统一托管 MapReduce、Spark、Flink 等计算引擎资源 |
| 计算层 | MapReduce | 早期磁盘级分布式计算模型(Map 拆分 -> Shuffle 归并 -> Reduce 合并) | 已被 Spark 全面替换(内存计算 + DAG 执行计划) |
| SQL 引擎 | Hive | 将人类可读的 SQL 语法自动编译转换成底层 MapReduce 任务执行 | SparkSQL 替代 Hive 底层引擎(链路演进为 Hive -> Spark -> HDFS) |
B HDFS 主从架构三大角色深度解析
HDFS 采用经典的 Master / Worker 主从架构,核心设计铁律是:控制流(元数据查询)与数据流(实际读写)彻底分离——客户端先和 NameNode 交互获取位置,再直接操作 DataNode 节点读写数据,避免 NameNode 成为网络带宽瓶颈。
flow
[HDFS Client 客户端] -> [NameNode (Master)]: 1. 请求文件路径与 Block 元数据位置
[NameNode (Master)] --> [HDFS Client 客户端]: 2. 返回目标 DataNode 地址列表
[HDFS Client 客户端] -> [DataNode 1 (Worker)]: 3. 直连读写 128MB Block 块
[DataNode 1 (Worker)] -> [DataNode 2 (Worker)]: 副本 2 流水线复制
[DataNode 2 (Worker)] -> [DataNode 3 (Worker)]: 副本 3 流水线复制
[DataNode 1 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报
[DataNode 2 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报
[DataNode 3 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报- HDFS Client(客户端):负责按 128MB 固定大小切分文件为
Block,对外屏蔽分布式细节;先询问NameNode拿到块位置,再直连DataNode执行高速读写。 - NameNode(Master 主节点):仅存放元数据(文件目录树结构、权限、文件与 Block 映射关系)在内存中。需要大容量 RAM,但不直接存储任何文件实际字节;必须做高可用备份防止单点故障。
- DataNode(Worker 工作节点):实际存放 Block 数据块在本地磁盘,需要海量磁盘空间;默认每个 Block 保留 3 份副本保障高可用,并周期性向 NameNode 发送心跳报告存活与持有块清单。
C NameNode 元数据持久化:edit_log、FSImage 与 JournalNode
NameNode 将整个文件目录树保存在内存中以保证微秒级寻址速度。一旦机器断电内存清空,元数据就会永久丢失。因此 HDFS 演进出一套严谨的磁盘持久化机制:
- 仅用
edit_log的困境:每次元数据变更(创建文件、修改权限、删除目录)都将操作流水追加写入磁盘edit_log。然而集群运行数月后edit_log会膨胀至数十 GB,NameNode 重启时必须从头逐条重放(Replay)所有日志重建内存树,耗时极长甚至数小时不可用。 - 引入
FSImage+JournalNode+ 备节点合并(Checkpointing):FSImage:某一历史时刻 NameNode 内存元数据的全量镜像快照文件。JournalNode集群:独立运行的奇数台日志共享同步集群(如 3 台)。Active NameNode 每次修改元数据,同时将edit_log写入本地磁盘与 JournalNode 集群(需多数派确认)。- Standby / Backup NameNode 后台合并:备 NameNode 持续从 JournalNode 实时拉取增量
edit_log在自己内存中回放,使内存状态与主节点几乎保持同步;每隔一定时间或日志条数阈值,将自己内存中的最新状态全量保存为新的FSImage并回传给 Active NameNode 替换旧快照,同时截断老旧edit_log。
flow
[Active NameNode] -> [本地磁盘 edit_log]: 1. 顺序追加元数据操作日志
[Active NameNode] -> [JournalNode 集群 (3台)]: 2. 网络同步增量 edit_log
[JournalNode 集群 (3台)] -> [Standby NameNode]: 3. 持续拉取并实时内存回放
[Standby NameNode] -> [新全量 FSImage 快照]: 4. 定期合并生成新镜像并回传 Active 替换callout
重启时 NameNode 只需直接加载最新全量快照 `FSImage` 到内存(毫秒/秒级映射),再仅回放快照时间点之后极少量的增量 `edit_log` 即可恢复服务,彻底消灭了无限重放历史流水的痛点。D HDFS 高可用 (HA) 与自动故障转移架构
为了彻底消除 NameNode 单点故障(SPOF),Hadoop HA 部署 Active NameNode(对外提供读写服务)与 Standby NameNode(实时同步元数据热备),并在每台 NameNode 宿主机上配套运行 ZKFC(ZKFailoverController) 与 ZooKeeper 集群协同完成秒级自动切换。
flow
[ZKFC 1] -> [Active NameNode 宿主机]: HealthMonitor 定期健康探测
[ZKFC 2] -> [Standby NameNode 宿主机]: HealthMonitor 定期健康探测
[ZKFC 1] -> [(ZooKeeper 仲裁集群)]: ActiveStandbyElector 竞争临时锁与状态汇报
[ZKFC 2] -> [(ZooKeeper 仲裁集群)]: ActiveStandbyElector 监听 Active 锁节点状态
group Active 节点监控栈: Active NameNode 宿主机, ZKFC 1
group Standby 节点监控栈: Standby NameNode 宿主机, ZKFC 2| 伴生守护模块 | 所属宿主组件 | 核心工作原理 |
|---|---|---|
| HealthMonitor | 运行在 ZKFC 内部 | 定期向本地 NameNode 发起健康检查(RPC 探活),一旦超时或返回异常立刻上报给上层控制器 |
| ZKFailoverController (ZKFC) | 与 NameNode 同机部署的独立进程 | 接收 HealthMonitor 的失败通知,负责协调状态隔离(Fencing)与主备状态切换触发 |
| ActiveStandbyElector | 运行在 ZKFC 内部 | 封装 ZooKeeper 客户端逻辑,在 ZooKeeper 中争抢创建临时有序锁节点;抢占成功者对应的 NameNode 升格为 Active,失败者持续 Watch 锁节点 |
自动故障转移完整时序
sequence
participants: HealthMonitor_1, ZKFC_1, Active_NN1, ZooKeeper, ZKFC_2, Standby_NN2
Active_NN1 -> ZooKeeper: 正常持有 Active 临时锁节点
HealthMonitor_1 -> Active_NN1: 1. 定期健康探测 RPC
Active_NN1 --> HealthMonitor_1: 2. 进程假死 / 无响应 (超时失败)
HealthMonitor_1 -> ZKFC_1: 3. 触发节点不健康告警事件
ZKFC_1 -> ZooKeeper: 4. 主动释放或因会话超时自动删除 Active 临时锁
ZooKeeper --> ZKFC_2: 5. Watch 监听触发锁释放事件通知
ZKFC_2 -> ZKFC_2: 6. ActiveStandbyElector 抢占创建新临时锁成功
ZKFC_2 -> ZKFC_1: 7. 执行 Fencing 隔离防脑裂(确认旧主降级)
ZKFC_2 -> Standby_NN2: 8. 切换状态为 Active NameNode 并接管全部服务