Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
Spark DAG 执行计划、宽窄依赖辨析与 Stage 切分算法图解
深入理解 reduceByKey / union / repartition 底层 Shuffle 与并行流水线加速本质
Spark 内核三级调度架构与 Job/Stage/Task 辨析
当客户端代码调用一个 Action 算子后,Spark 内部三大核心调度器紧密协作,将抽象的 RDD 转换链转化为物理节点上可并发运行的微任务:
严格区分 Job、Stage 与 Task 的层级关系
| 调度层级 | 触发与生成规则 | 并发数量关系 | 形象比喻 |
|---|---|---|---|
| Job(作业) | 每调用 1 次 Action 算子(如 count()、saveAsTextFile())即触发生成 1 个 Job |
1 个 Application 可包含多个 Job | 一次完整的流水线订单 |
| Stage(阶段) | DAGScheduler 根据**宽依赖(Shuffle)**将 Job 切分为多个前后串行的 Stage |
Stage 之间严格串行(前 Stage 写完磁盘,后 Stage 才能启动) | 工序中必须等上一道全部汇总完的独立车间 |
| Task(任务) | Stage 内的具体执行单元;Stage 划分多少个数据分区(Partition),就会启动多少个 Task | 同一个 Stage 内的所有 Task 完全并发并行执行 | 每条独立跑在不同物理节点上的流水线工人 |
DAG 有向无环图核心定义
DAG(Directed Acyclic Graph,有向无环图) 描述了各个 RDD 之间严格的依赖演进关系:
- 有向(Directed):数据流向不可逆,起点一定是
SparkContext创建的源 RDD,中间经过若干Transformation算子向下一层推导,终点是触发计算的Action算子。 - 无环(Acyclic):依赖链条绝对不能形成闭环,否则调度器会陷入无限死循环(Loop)无法收敛结束。
宽依赖 vs 窄依赖:三大经典算子深度图解
决定 Stage 如何切分、以及任务能否无阻塞并行加速的唯一分水岭,就是 窄依赖(Narrow Dependency) 与 宽依赖(Wide Dependency)。
1. 窄依赖(Narrow Dependency · 一对一完整交付)
定义:父 RDD 的一个分区,最多只被子 RDD 的一个分区所依赖(不存在一个父分区拆给多个子分区)。
- 典型算子:
map()、filter()、flatMap()、union()。 union()为什么仍是窄依赖?:虽然union把两个父 RDD 合并成一个子 RDD(多对一),但每个父分区内部的所有数据依然是**“完整交付”**给唯一一个子分区的,没有数据被拆散重组,依然可以零阻塞并行加速!
2. 宽依赖(Wide Dependency · 一对多交叉洗牌)
定义:父 RDD 的同一个分区数据被拆分并分发给子 RDD 的多个不同分区,子 RDD 的一个分区需要跨越网络从所有父 RDD 分区中拉取属于自己的那部分数据(必然触发 Shuffle)。
经典案例 A:词频统计中的 reduceByKey(_ + _)
假设父 RDD 有 2 个分区:
- 父分区 1:
("apple", 1), ("banana", 1) - 父分区 2:
("apple", 1), ("orange", 1)
执行 reduceByKey(_ + _) 生成子 RDD 后,子分区 1(假设按哈希负责汇总 apple 和 orange)不仅要从父分区 1 拉取 ("apple", 1),还必须跨越网络从父分区 2 拉取 ("apple", 1) 和 ("orange", 1),才能算出 ("apple", 2) 和 ("orange", 1)。父分区 1 的数据被拆散并分发给了子 RDD 的两个不同分区(一对多)!
经典案例 B:为什么单分区执行 repartition(4) 也是宽依赖、无法直接并行?
假设父 RDD 只有 1 个分区,你执行 repartition(4) 想把它拆成 4 个子分区提速:
- 父 RDD 只有 1 个分区 只能启动 1 个父 Task;子 RDD 有 4 个分区 需要 4 个并发子 Task。
- 物理限制:1 个父 Task 往外吐数据无法同时喂饱 4 个处于不同网络节点的并发读 Task!
- Spark 实际做法:让这 1 个父 Task 在 Stage 1 专心把全部数据读完,按目标分区号在本地分成 4 份写入本地磁盘(Shuffle Write);Stage 1 全部落盘后,调度器在 Stage 2 一次性申请 4 个并发 Task,分别跨节点去拉取属于自己的那 1/4 磁盘文件,从而在后续算子实现真正的 4 路并行计算!
为什么窄依赖能实现极速并行,而宽依赖必须停顿?
- 窄依赖 = 内存流水线高速公路
- 父分区 1 的所有数据只去往子分区 1;同一个 CPU 核心在内存中算出一条记录,立刻原地紧接着执行 map -> filter -> 下一步计算,无需等其他节点、无需写磁盘!
- 宽依赖 = 全局屏障 + 落盘中转
- 父分区 1 里混杂着 Key A 和 Key B;节点 1 要汇总 Key A 必须等所有父分区全部算完并把属于 Key A 的碎片全部发来;父分区必须先分类写入本地磁盘 (Shuffle Write),等全局写完后再跨网络拉取 (Shuffle Read)
| 底层行为对比 | 窄依赖 (Pipeline 执行) | 宽依赖 (Shuffle 边界) |
|---|---|---|
| 数据流向 | 内存直接传递,不跨节点(一对一 / 多对一) | 跨物理节点按 Key/Hash 重组(一对多) |
| 磁盘 I/O | 零磁盘写入(全程在 CPU 缓存与 RAM 中流转) | 强制落盘中转(Shuffle Write 写本地磁盘 + Shuffle Read 拉取) |
| 执行同步点 | 各分区独立高速公路,各跑各的互不等待 | 存在全局屏障(Barrier):下游 Stage 必须等待上游所有 Task 写完才能启动 |
DAGScheduler 反向回溯切分 Stage 算法
为了最大化利用窄依赖的内存流水线并行能力,DAGScheduler 从最后一个 Action 算子开始由后往前反向回溯推导切分 Stage:
- 创建末级 Stage:从 DAG 最后一个触发 Action 的 RDD 往前推,先创建最后一个 Stage 并把末位 RDD 加入其中。
- 递归判定依附关系:继续沿依赖链往前追踪——如果遇到窄依赖,直接将该父 RDD 并入当前 Stage 继续往前推;如果遇到宽依赖,立即在此处截断当前 Stage,针对宽依赖的上游重新创建一个新 Stage。
- 收敛至起点:不断重复直到回溯到由
SparkContext创建的初始源 RDD。
经过上述反向切分后:只有 Stage 之间存在磁盘中转与串行等待;而每个 Stage 内部的所有 RDD 之间全部都是纯窄依赖——各分区互不干扰、一一对应,可以封装为一个 TaskSet 彻底放飞并发加速!