Skip to content

A HDFS 高并发与高吞吐的三大核心支柱 ​

NameNode 将全部元数据放在内存中,所有客户端的创建、重命名、删除请求都必须在 NameNode 串行定序写入 edit_log 才能保证一致。如果处理不当,锁竞争和网络/磁盘 IO 会瞬间拖垮整个集群。HDFS 依靠以下三大精妙工程设计实现了极高的并发吞吐:

kv
支柱 1 · 内存双缓存 + 分段加锁: NameNode 持锁只写内存不写盘,通过两块缓冲区切换把耗时 IO 剥离到锁外执行
支柱 2 · 客户端异步队列批量发包: Chunk (512B) 攒成 Packet (64MB) 放入 DataQueue 内存队列,由后台线程异步流水线发送
支柱 3 · 文件契约与红黑树过期检测: 基于 Lease 租约实现并发写互斥,并利用 TreeSet 红黑树排序只扫快过期契约

B NameNode 高并发写 edit_log:内存双缓冲 + 分段加锁深度剖析 ​

1. 为什么加锁本身不慢,慢的是在锁内做 IO? ​

  • 并发定序刚需:多线程并发写 edit_log 必须保证严格先后顺序,NameNode 通过**全局递增事务 ID(txid)**与加锁实现定序。
  • 关键洞察:线程在内存中抢锁、赋值 txid 并释放锁只需纳秒级,几乎不损耗性能;真正让系统卡死的是在持有锁的期间去执行磁盘写入 (edit_log) 和网络同步 (JournalNode),导致其余所有线程长时间阻塞在锁外干等。

2. 内存双缓存(Buffer 1 & Buffer 2)+ 两段加锁完整机制 ​

NameNode 在内存中开辟了两块完全独立的日志缓冲区(bufCurrent 与 bufReady,记为 缓冲区 1 与 缓冲区 2),并设置**两把锁(锁 A 与锁 B)**分段协作:

flow
[并发请求线程进入写 edit_log] -> [1. 获取第一把锁 A]: 极短持锁
[1. 获取第一把锁 A] -> [生成全局递增 txid 并写入内存缓冲区 1/2]: 纯内存操作 (微秒级)
[生成全局递增 txid 并写入内存缓冲区 1/2] -> [释放第一把锁 A]

[释放第一把锁 A] -> [2. 尝试获取第二把锁 B]
[2. 尝试获取第二把锁 B] -> {条件一: 是否有人正在写磁盘和网络?}
{条件一: 是否有人正在写磁盘和网络?} -> [是: 立即释放锁 B, 等 1ms~1s 后再试]: 避免刷盘碰撞
{条件一: 是否有人正在写磁盘和网络?} -> {条件二: 该线程 txid 是否已被后续线程刷走?}
{条件二: 该线程 txid 是否已被后续线程刷走?} -> [是: 已被顺带刷盘, 立即释放锁 B 退出]: 批量合并搭便车
{条件二: 该线程 txid 是否已被后续线程刷走?} -> [否: 交换缓冲区 1 与 2 (bufCurrent <-> bufReady)]: 指针交换极快
[否: 交换缓冲区 1 与 2 (bufCurrent <-> bufReady)] -> [释放第二把锁 B]
[释放第二把锁 B] -> [3. 锁外执行: 读取无人写入的那块缓冲区, 写本地磁盘与 JournalNode]: 耗时的磁盘/网络 IO 完全无锁!
执行阶段锁持有状态核心操作内容设计精妙之处
第一段:锁 A持有锁 A(极短)生成唯一递增 txid,将元数据变更记录写入当前活动内存缓冲区(缓冲区 1)后立刻释放锁 A将“生成有序事务”压缩为纯内存拷贝,线程并发写入吞吐极高
第二段:锁 B 检查持有锁 B检查一:若已有其他线程在刷盘(第三步),则释放锁 B 等待重抢;检查二:通过 txid 判断自己记录是否已被前面线程顺带交换刷盘,若是则释放锁 B 直接成功返回让大量并发线程的 edit_log 自动**“搭便车”合并刷盘**,极大减少磁盘寻道与网络 RPC 次数
第二段:锁 B 交换持有锁 B若前两次检查均未触发释放,则瞬间交换缓冲区 1 与缓冲区 2 的引用(让空缓冲区变成后续锁 A 写入的新空间),随后释放锁 B指针交换仅耗时几个 CPU 周期,新进来的写请求在缓冲区 2 继续写,互不阻塞
第三段:锁外刷盘完全无锁当前线程独占已写满的旧缓冲区作为数据源,安全写入本地磁盘 edit_log 并通过网络同步给 JournalNode 集群耗时最长的磁盘 IO 与网络同步彻底移出临界区,实现高并发写不阻塞读与内存写入

C HDFS 客户端异步队列优化:Chunk -> Packet -> DataQueue ​

客户端向 DataNode 写入大文件时,并非每产生几个字节就发起一次网络发送,而是采取**“缓存攒一波,然后异步发一批”**的三级流水线缓冲机制:

flow
[用户写入流数据] -> [1. Chunk 缓冲 (512B)]: 附带 4B 校验和 (Checksum)
[1. Chunk 缓冲 (512B)] -> [2. Packet 数据包 (64KB / 聚合缓存)]: 127 个 Chunk 攒成一个 Packet
[2. Packet 数据包 (64KB / 聚合缓存)] -> [3. DataQueue 内存队列]: 放入内存队列解耦生产与消费
[3. DataQueue 内存队列] -> [后台 DataStreamer 线程]: 异步批量发送 Packet 组成 Block (128MB)
callout
- **Chunk(数据校验块,512B)**:客户端校验与缓存的最基本颗粒。
- **Packet(数据包,默认 64KB,由 127 个 Chunk 聚合成型;注:早年笔记手记简写 64m 实际指代缓存积攒数据包单元,最终每次发送积攒构成 128MB Block)**:`Chunk` 和 `Packet` 共同构成内存攒批缓冲区,大幅减少网络系统调用。
- **DataQueue 内存异步队列**:业务线程只负责向队列投递攒好的 Packet;独立后台线程异步从 `DataQueue` 消费 Packet 并流式推向 DataNode 管道,同时等待 ACK 队列确认,真正做到生产消费异步解耦。

D 文件契约机制(Lease 租约)与红黑树过期检测 ​

为了防止多个 HDFS 客户端同时向同一个文件并发追加写入导致数据块错乱,NameNode 引入了**文件契约机制(Lease,租约)**来替代传统的显式进程锁。

对比维度传统分布式互斥锁HDFS 文件契约机制 (Lease)
互斥效果同一时刻只允许一个进程持有写权限效果相同:申请契约期间只有持有者可写,其余进程被拒绝写入
故障容错需主动释放;若客户端崩溃未解锁,极易引发永久死锁自动过期 + 主动续约 (Renew);正常客户端定期心跳续约延长有效期,一旦客户端宕机超时未续约,NameNode 自动回收契约
过期扫描效率若暴力轮询全部打开文件,百万级文件场景 CPU 直接打满使用 TreeSet(底层红黑树)按契约过期时间有序排列;后台线程每次只需检测树头快要过期的少量文件契约,将检测复杂度降至最低

E HDFS 完整读写交互流程对比 ​

1. HDFS 写文件全流程(Pipeline 流水线三副本同步) ​

sequence
participants: Client_DFS, NameNode, Client_Stream, DN1, DN2, DN3
Client_DFS -> NameNode: 1. DistributedFileSystem 请求上传 /use/aa/bb.avi (检查目录与权限)
NameNode --> Client_DFS: 2. 授予文件写契约,响应允许上传
Client_DFS -> NameNode: 3. 请求分配第一个 128MB Block 的存储节点
NameNode --> Client_DFS: 4. 根据机架感知策略返回 3 台目标 DataNode 地址 (DN1, DN2, DN3)

Client_DFS -> Client_Stream: 5. 创建 FSDataOutputStream 并切分 Packet 写入 DataQueue
Client_Stream -> DN1: 6. 请求建立三副本数据流传输通道 (Pipeline)
DN1 -> DN2: 向下游请求建链
DN2 -> DN3: 向下游请求建链
DN3 --> Client_Stream: 7. 逐级逆向应答通道建立成功

Client_Stream -> DN1: 8. 异步流式推送 Packet 数据包
DN1 -> DN2: 边接收边向副本 2 转发
DN2 -> DN3: 边接收边向副本 3 转发
DN3 --> Client_Stream: 9. 逐级回传 Packet 写入 ACK 确认
Client_DFS -> NameNode: 10. 所有 Block 写完,关闭文件并主动释放写契约

2. HDFS 读文件全流程(就近直连读取) ​

sequence
participants: Client_DFS, NameNode, Client_InStream, DN1, DN2
Client_DFS -> NameNode: 1. DistributedFileSystem 请求下载 /use/aa/bb.avi
NameNode --> Client_DFS: 2. 返回文件全部 Block 列表及所在 DataNode 位置元数据
Client_DFS -> Client_InStream: 3. 初始化 FSDataInputStream
Client_InStream -> DN1: 4. 择优选择距离最近/负载最低的 DN1 并行发起 Block 读请求
DN1 --> Client_InStream: 5. 持续传输文件数据流
Client_InStream -> DN2: 6. 若部分 Block 在 DN2 或 DN1 失败,自动切换副本节点读取
Client_InStream --> Client_DFS: 7. 所有 Block 拼接校验完毕,关闭输入流

← 返回云原生项目总索引