Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

Spark 集群运行架构与 Spark On YARN 生产部署模式对比

Driver/ClusterManager/Executor 角色定位、On YARN 容器化映射及 yarn-cluster vs yarn-client 选型

A

Spark 集群三大物理角色体系

无论采用哪种集群资源管理器运行 Spark,其运行时的物理进程模型都由 Driver(驱动器)、ClusterManager(集群管理器) 与 WorkerNode / Executor(执行器) 三大角色构成:

创建 DAG 并协调任务申请 Executor 计算资源分配并拉起容器分配并拉起容器启动 Task 线程池启动 Task 线程池直接下发 TaskSet 与回收结果直接下发 TaskSet 与回收结果Application 用户程序Driver (运行 main 函数与SparkContext)ClusterManager (资源管理节点)Worker Node 1Worker Node 2Executor 1 进程Executor 2 进程
集群角色 核心进程与组件 核心职责剖析
Driver(驱动器) 运行用户 main() 函数并初始化 SparkContext、DAGScheduler、TaskScheduler 整个 Spark 应用程序的“大脑”与总管理者:解析代码构建 DAG、切分 Stage,向 ClusterManager 讨要资源后,直接向各 Executor 派发 Task 并维护任务进度
ClusterManager(管理节点) 外部或内置资源管家(如 Spark Master 或 YARN ResourceManager) 仅负责统筹集群全局机器的 CPU/内存分配,审批 Executor 启动请求,不参与具体 Spark DAG 计算逻辑
WorkerNode & Executor(工作节点与执行器) Worker 节点上启动的 Executor 独立 JVM 进程 真正执行干活的“肌肉”:每个 Executor 内部拥有多线程池并行执行分配来的 Task,并利用自身堆内存缓存 RDD 分区数据
B

Spark 四大部署模式全景对比

部署模式 资源调度中枢 适用场景与行业地位
Standalone Spark 自带轻量级 Master/Worker 调度器 适合纯 Spark 专有测试环境,但无法与现有大数据生态(HDFS/MR/Flink)共享资源池,生产较少单独使用
On YARN(主流方案) Hadoop YARN (ResourceManager + NodeManager) 企业级 Hadoop 生态绝对主力;YARN 负责统一资源管理,Spark 负责高性能内存 DAG 调度与计算
On Mesos Apache Mesos 资源管理器 早期通用分布式内核(现已逐渐退出主流)
On Kubernetes (K8s) Kubernetes kube-apiserver + kube-scheduler 云原生时代新兴主力方案(Spark Driver/Executor 直接化身原生 Pod,Spark Operator 配合度极高)
C

Spark On YARN 深度融合架构剖析

在企业级 Hadoop + Spark 融合集群(即本项目大数据层采用方案)中,Spark 巧妙地“借壳”YARN 的 ApplicationMaster 机制实现了无缝对接:

1. 提交 Spark 作业请求2. 分配容器运行 ApplicationMaster3. 启动含 SparkContext + Scheduler4. 申请 Executor 容器资源5. 在计算节点拉起 Executor5. 在计算节点拉起 Executor6. 直接派发 TaskSet6. 直接派发 TaskSetSpark Client 客户端YARN ResourceManagerYARN NodeManager 1AM 容器 (内部运行 SparkDriver)YARN NodeManager 2YARN NodeManager 3
Spark On YARN 的“借壳”核心机制
  • YARN 的 ApplicationMaster 角色发生了质变:在传统 MapReduce 中,AM 只是一个控制 MR 进度的辅助进程;而在 Spark On YARN(尤其是 yarn-cluster 模式)下,YARN 的 ApplicationMaster 容器内部直接跑的就是完整的 Spark Driver(包含 SparkContext、DAGScheduler 与 TaskScheduler)!
  • ResourceManager:仅对接 Spark Client 受理作业与分配容器。
  • NodeManager:负责在各工作节点拉起并托管 Spark Executor 进程执行计算任务。
D

D yarn-cluster vs yarn-client 运行模式全方位对比

根据 Driver 究竟运行在集群内部还是客户端本地机器,Spark On YARN 严格划分为两种部署模式(通过 --deploy-mode cluster|client 指定):

对比维度 yarn-cluster 模式(生产首选) yarn-client 模式(开发调试首选)
Driver 运行位置 运行在 YARN 集群内某台 NodeManager 分配的 ApplicationMaster 容器内 直接运行在提交任务的客户端本地物理机进程中(AM 仅作为空壳向 RM 申请资源)
客户端退出影响 任务提交后即可安全关闭客户端终端,Driver 在集群后台持续跑完任务 客户端绝对不能退出/断网!一旦本地客户端关闭,Driver 进程即被杀死,整个任务崩溃
日志与输出查看 终端不打印业务 println / print 结果,需去 YARN Web UI (8088) 或开启 HistoryServer 查看容器日志 控制台立即实时打印 Application 全部标准输出与调试日志,反馈极快
网络通信开销 Driver 与所有 Executor 都在集群内网高速交互,网络延迟极低且稳定 Driver 与集群 Executor 跨机高频通信,若提交机处于集群外部易遇网络瓶颈或网卡打满
典型适用场景 生产环境定时批处理调度(如本项目 job-worker 定时向 YARN 提交聚类任务) 交互式查询与代码排障(如在终端运行 spark-shell 实时调试算子结果)
本项目 `job-worker` 为什么必须选 `yarn-cluster`?

在生产环境中,job-worker 往往需要同时调度多个周期性聚类大任务。若使用 yarn-client,所有任务的 Driver JVM 都会挤在 job-worker 单机内存中导致瞬间 OOM 崩溃;采用 yarn-cluster 可将 Driver 分散均匀卸载到 YARN 集群各个计算节点上执行,具备极佳的容灾性与横向扩展能力。