Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
Spark 集群运行架构与 Spark On YARN 生产部署模式对比
Driver/ClusterManager/Executor 角色定位、On YARN 容器化映射及 yarn-cluster vs yarn-client 选型
Spark 集群三大物理角色体系
无论采用哪种集群资源管理器运行 Spark,其运行时的物理进程模型都由 Driver(驱动器)、ClusterManager(集群管理器) 与 WorkerNode / Executor(执行器) 三大角色构成:
| 集群角色 | 核心进程与组件 | 核心职责剖析 |
|---|---|---|
| Driver(驱动器) | 运行用户 main() 函数并初始化 SparkContext、DAGScheduler、TaskScheduler |
整个 Spark 应用程序的“大脑”与总管理者:解析代码构建 DAG、切分 Stage,向 ClusterManager 讨要资源后,直接向各 Executor 派发 Task 并维护任务进度 |
| ClusterManager(管理节点) | 外部或内置资源管家(如 Spark Master 或 YARN ResourceManager) | 仅负责统筹集群全局机器的 CPU/内存分配,审批 Executor 启动请求,不参与具体 Spark DAG 计算逻辑 |
| WorkerNode & Executor(工作节点与执行器) | Worker 节点上启动的 Executor 独立 JVM 进程 |
真正执行干活的“肌肉”:每个 Executor 内部拥有多线程池并行执行分配来的 Task,并利用自身堆内存缓存 RDD 分区数据 |
Spark 四大部署模式全景对比
| 部署模式 | 资源调度中枢 | 适用场景与行业地位 |
|---|---|---|
| Standalone | Spark 自带轻量级 Master/Worker 调度器 | 适合纯 Spark 专有测试环境,但无法与现有大数据生态(HDFS/MR/Flink)共享资源池,生产较少单独使用 |
| On YARN(主流方案) | Hadoop YARN (ResourceManager + NodeManager) |
企业级 Hadoop 生态绝对主力;YARN 负责统一资源管理,Spark 负责高性能内存 DAG 调度与计算 |
| On Mesos | Apache Mesos 资源管理器 | 早期通用分布式内核(现已逐渐退出主流) |
| On Kubernetes (K8s) | Kubernetes kube-apiserver + kube-scheduler |
云原生时代新兴主力方案(Spark Driver/Executor 直接化身原生 Pod,Spark Operator 配合度极高) |
Spark On YARN 深度融合架构剖析
在企业级 Hadoop + Spark 融合集群(即本项目大数据层采用方案)中,Spark 巧妙地“借壳”YARN 的 ApplicationMaster 机制实现了无缝对接:
Spark On YARN 的“借壳”核心机制
- YARN 的
ApplicationMaster角色发生了质变:在传统 MapReduce 中,AM 只是一个控制 MR 进度的辅助进程;而在 Spark On YARN(尤其是yarn-cluster模式)下,YARN 的ApplicationMaster容器内部直接跑的就是完整的Spark Driver(包含SparkContext、DAGScheduler与TaskScheduler)! - ResourceManager:仅对接 Spark Client 受理作业与分配容器。
- NodeManager:负责在各工作节点拉起并托管
Spark Executor进程执行计算任务。
D yarn-cluster vs yarn-client 运行模式全方位对比
根据 Driver 究竟运行在集群内部还是客户端本地机器,Spark On YARN 严格划分为两种部署模式(通过 --deploy-mode cluster|client 指定):
| 对比维度 | yarn-cluster 模式(生产首选) |
yarn-client 模式(开发调试首选) |
|---|---|---|
| Driver 运行位置 | 运行在 YARN 集群内某台 NodeManager 分配的 ApplicationMaster 容器内 |
直接运行在提交任务的客户端本地物理机进程中(AM 仅作为空壳向 RM 申请资源) |
| 客户端退出影响 | 任务提交后即可安全关闭客户端终端,Driver 在集群后台持续跑完任务 | 客户端绝对不能退出/断网!一旦本地客户端关闭,Driver 进程即被杀死,整个任务崩溃 |
| 日志与输出查看 | 终端不打印业务 println / print 结果,需去 YARN Web UI (8088) 或开启 HistoryServer 查看容器日志 |
控制台立即实时打印 Application 全部标准输出与调试日志,反馈极快 |
| 网络通信开销 | Driver 与所有 Executor 都在集群内网高速交互,网络延迟极低且稳定 | Driver 与集群 Executor 跨机高频通信,若提交机处于集群外部易遇网络瓶颈或网卡打满 |
| 典型适用场景 | 生产环境定时批处理调度(如本项目 job-worker 定时向 YARN 提交聚类任务) |
交互式查询与代码排障(如在终端运行 spark-shell 实时调试算子结果) |
本项目 `job-worker` 为什么必须选 `yarn-cluster`?
在生产环境中,job-worker 往往需要同时调度多个周期性聚类大任务。若使用 yarn-client,所有任务的 Driver JVM 都会挤在 job-worker 单机内存中导致瞬间 OOM 崩溃;采用 yarn-cluster 可将 Driver 分散均匀卸载到 YARN 集群各个计算节点上执行,具备极佳的容灾性与横向扩展能力。