Skip to content

A Hadoop 大数据平台三层核心架构 ​

Hadoop 是整个项目大数据离线分析集群的底座。它本质上通过将超大规模计算与存储分散到廉价机器集群中,解决了单机磁盘容量瓶颈与单机算力上限问题。

flow
[数据接入 / 上层 SQL] -> [计算层: MapReduce -> Spark]: 并行计算任务
[计算层: MapReduce -> Spark] -> [调度层: YARN]: 申请集群 CPU / 内存资源
[调度层: YARN] -> [存储层: HDFS]: 分布式读取与落盘 Block 数据
架构层次核心组件核心定位与比喻演进与生态替代方案
存储层HDFS天然分库分表的分布式文件 DB;切分大文件为固定块并默认三副本容灾底座不可替代,持续服务于 Spark、Hive、HBase
调度层YARN集群资源大管家;由 ResourceManager 全局分配 + NodeManager 单机执行负责统一托管 MapReduce、Spark、Flink 等计算引擎资源
计算层MapReduce早期磁盘级分布式计算模型(Map 拆分 -> Shuffle 归并 -> Reduce 合并)已被 Spark 全面替换(内存计算 + DAG 执行计划)
SQL 引擎Hive将人类可读的 SQL 语法自动编译转换成底层 MapReduce 任务执行SparkSQL 替代 Hive 底层引擎(链路演进为 Hive -> Spark -> HDFS)

B HDFS 主从架构三大角色深度解析 ​

HDFS 采用经典的 Master / Worker 主从架构,核心设计铁律是:控制流(元数据查询)与数据流(实际读写)彻底分离——客户端先和 NameNode 交互获取位置,再直接操作 DataNode 节点读写数据,避免 NameNode 成为网络带宽瓶颈。

flow
[HDFS Client 客户端] -> [NameNode (Master)]: 1. 请求文件路径与 Block 元数据位置
[NameNode (Master)] --> [HDFS Client 客户端]: 2. 返回目标 DataNode 地址列表
[HDFS Client 客户端] -> [DataNode 1 (Worker)]: 3. 直连读写 128MB Block 块
[DataNode 1 (Worker)] -> [DataNode 2 (Worker)]: 副本 2 流水线复制
[DataNode 2 (Worker)] -> [DataNode 3 (Worker)]: 副本 3 流水线复制
[DataNode 1 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报
[DataNode 2 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报
[DataNode 3 (Worker)] --> [NameNode (Master)]: 定期发送心跳 (Heartbeat) 与块汇报
  • HDFS Client(客户端):负责按 128MB 固定大小切分文件为 Block,对外屏蔽分布式细节;先询问 NameNode 拿到块位置,再直连 DataNode 执行高速读写。
  • NameNode(Master 主节点):仅存放元数据(文件目录树结构、权限、文件与 Block 映射关系)在内存中。需要大容量 RAM,但不直接存储任何文件实际字节;必须做高可用备份防止单点故障。
  • DataNode(Worker 工作节点):实际存放 Block 数据块在本地磁盘,需要海量磁盘空间;默认每个 Block 保留 3 份副本保障高可用,并周期性向 NameNode 发送心跳报告存活与持有块清单。

C NameNode 元数据持久化:edit_log、FSImage 与 JournalNode ​

NameNode 将整个文件目录树保存在内存中以保证微秒级寻址速度。一旦机器断电内存清空,元数据就会永久丢失。因此 HDFS 演进出一套严谨的磁盘持久化机制:

  1. 仅用 edit_log 的困境:每次元数据变更(创建文件、修改权限、删除目录)都将操作流水追加写入磁盘 edit_log。然而集群运行数月后 edit_log 会膨胀至数十 GB,NameNode 重启时必须从头逐条重放(Replay)所有日志重建内存树,耗时极长甚至数小时不可用。
  2. 引入 FSImage + JournalNode + 备节点合并(Checkpointing):
    • FSImage:某一历史时刻 NameNode 内存元数据的全量镜像快照文件。
    • JournalNode 集群:独立运行的奇数台日志共享同步集群(如 3 台)。Active NameNode 每次修改元数据,同时将 edit_log 写入本地磁盘与 JournalNode 集群(需多数派确认)。
    • Standby / Backup NameNode 后台合并:备 NameNode 持续从 JournalNode 实时拉取增量 edit_log 在自己内存中回放,使内存状态与主节点几乎保持同步;每隔一定时间或日志条数阈值,将自己内存中的最新状态全量保存为新的 FSImage 并回传给 Active NameNode 替换旧快照,同时截断老旧 edit_log。
flow
[Active NameNode] -> [本地磁盘 edit_log]: 1. 顺序追加元数据操作日志
[Active NameNode] -> [JournalNode 集群 (3台)]: 2. 网络同步增量 edit_log
[JournalNode 集群 (3台)] -> [Standby NameNode]: 3. 持续拉取并实时内存回放
[Standby NameNode] -> [新全量 FSImage 快照]: 4. 定期合并生成新镜像并回传 Active 替换
callout
重启时 NameNode 只需直接加载最新全量快照 `FSImage` 到内存(毫秒/秒级映射),再仅回放快照时间点之后极少量的增量 `edit_log` 即可恢复服务,彻底消灭了无限重放历史流水的痛点。

D HDFS 高可用 (HA) 与自动故障转移架构 ​

为了彻底消除 NameNode 单点故障(SPOF),Hadoop HA 部署 Active NameNode(对外提供读写服务)与 Standby NameNode(实时同步元数据热备),并在每台 NameNode 宿主机上配套运行 ZKFC(ZKFailoverController) 与 ZooKeeper 集群协同完成秒级自动切换。

flow
[ZKFC 1] -> [Active NameNode 宿主机]: HealthMonitor 定期健康探测
[ZKFC 2] -> [Standby NameNode 宿主机]: HealthMonitor 定期健康探测
[ZKFC 1] -> [(ZooKeeper 仲裁集群)]: ActiveStandbyElector 竞争临时锁与状态汇报
[ZKFC 2] -> [(ZooKeeper 仲裁集群)]: ActiveStandbyElector 监听 Active 锁节点状态

group Active 节点监控栈: Active NameNode 宿主机, ZKFC 1
group Standby 节点监控栈: Standby NameNode 宿主机, ZKFC 2
伴生守护模块所属宿主组件核心工作原理
HealthMonitor运行在 ZKFC 内部定期向本地 NameNode 发起健康检查(RPC 探活),一旦超时或返回异常立刻上报给上层控制器
ZKFailoverController (ZKFC)与 NameNode 同机部署的独立进程接收 HealthMonitor 的失败通知,负责协调状态隔离(Fencing)与主备状态切换触发
ActiveStandbyElector运行在 ZKFC 内部封装 ZooKeeper 客户端逻辑,在 ZooKeeper 中争抢创建临时有序锁节点;抢占成功者对应的 NameNode 升格为 Active,失败者持续 Watch 锁节点

自动故障转移完整时序 ​

sequence
participants: HealthMonitor_1, ZKFC_1, Active_NN1, ZooKeeper, ZKFC_2, Standby_NN2
Active_NN1 -> ZooKeeper: 正常持有 Active 临时锁节点
HealthMonitor_1 -> Active_NN1: 1. 定期健康探测 RPC
Active_NN1 --> HealthMonitor_1: 2. 进程假死 / 无响应 (超时失败)
HealthMonitor_1 -> ZKFC_1: 3. 触发节点不健康告警事件
ZKFC_1 -> ZooKeeper: 4. 主动释放或因会话超时自动删除 Active 临时锁
ZooKeeper --> ZKFC_2: 5. Watch 监听触发锁释放事件通知
ZKFC_2 -> ZKFC_2: 6. ActiveStandbyElector 抢占创建新临时锁成功
ZKFC_2 -> ZKFC_1: 7. 执行 Fencing 隔离防脑裂(确认旧主降级)
ZKFC_2 -> Standby_NN2: 8. 切换状态为 Active NameNode 并接管全部服务

← 返回云原生项目总索引