Skip to content

A Spark 集群三大物理角色体系 ​

无论采用哪种集群资源管理器运行 Spark,其运行时的物理进程模型都由 Driver(驱动器)、ClusterManager(集群管理器) 与 WorkerNode / Executor(执行器) 三大角色构成:

flow
[Application 用户程序] -> [Driver (运行 main 函数与 SparkContext)]: 创建 DAG 并协调任务
[Driver (运行 main 函数与 SparkContext)] -> [ClusterManager (资源管理节点)]: 申请 Executor 计算资源
[ClusterManager (资源管理节点)] -> [Worker Node 1] & [Worker Node 2]: 分配并拉起容器
[Worker Node 1] -> [Executor 1 进程]: 启动 Task 线程池
[Worker Node 2] -> [Executor 2 进程]: 启动 Task 线程池
[Driver (运行 main 函数与 SparkContext)] --> [Executor 1 进程] & [Executor 2 进程]: 直接下发 TaskSet 与回收结果
集群角色核心进程与组件核心职责剖析
Driver(驱动器)运行用户 main() 函数并初始化 SparkContext、DAGScheduler、TaskScheduler整个 Spark 应用程序的“大脑”与总管理者:解析代码构建 DAG、切分 Stage,向 ClusterManager 讨要资源后,直接向各 Executor 派发 Task 并维护任务进度
ClusterManager(管理节点)外部或内置资源管家(如 Spark Master 或 YARN ResourceManager)仅负责统筹集群全局机器的 CPU/内存分配,审批 Executor 启动请求,不参与具体 Spark DAG 计算逻辑
WorkerNode & Executor(工作节点与执行器)Worker 节点上启动的 Executor 独立 JVM 进程真正执行干活的“肌肉”:每个 Executor 内部拥有多线程池并行执行分配来的 Task,并利用自身堆内存缓存 RDD 分区数据

B Spark 四大部署模式全景对比 ​

部署模式资源调度中枢适用场景与行业地位
StandaloneSpark 自带轻量级 Master/Worker 调度器适合纯 Spark 专有测试环境,但无法与现有大数据生态(HDFS/MR/Flink)共享资源池,生产较少单独使用
On YARN(主流方案)Hadoop YARN (ResourceManager + NodeManager)企业级 Hadoop 生态绝对主力;YARN 负责统一资源管理,Spark 负责高性能内存 DAG 调度与计算
On MesosApache Mesos 资源管理器早期通用分布式内核(现已逐渐退出主流)
On Kubernetes (K8s)Kubernetes kube-apiserver + kube-scheduler云原生时代新兴主力方案(Spark Driver/Executor 直接化身原生 Pod,Spark Operator 配合度极高)

C Spark On YARN 深度融合架构剖析 ​

在企业级 Hadoop + Spark 融合集群(即本项目大数据层采用方案)中,Spark 巧妙地“借壳”YARN 的 ApplicationMaster 机制实现了无缝对接:

flow
[Spark Client 客户端] -> [YARN ResourceManager]: 1. 提交 Spark 作业请求
[YARN ResourceManager] -> [YARN NodeManager 1]: 2. 分配容器运行 ApplicationMaster
[YARN NodeManager 1] -> [AM 容器 (内部运行 Spark Driver)]: 3. 启动含 SparkContext + Scheduler
[AM 容器 (内部运行 Spark Driver)] -> [YARN ResourceManager]: 4. 申请 Executor 容器资源
[YARN ResourceManager] -> [YARN NodeManager 2] & [YARN NodeManager 3]: 5. 在计算节点拉起 Executor
[AM 容器 (内部运行 Spark Driver)] --> [YARN NodeManager 2] & [YARN NodeManager 3]: 6. 直接派发 TaskSet
callout
- **YARN 的 `ApplicationMaster` 角色发生了质变**:在传统 MapReduce 中,AM 只是一个控制 MR 进度的辅助进程;而在 Spark On YARN(尤其是 `yarn-cluster` 模式)下,**YARN 的 `ApplicationMaster` 容器内部直接跑的就是完整的 `Spark Driver`(包含 `SparkContext`、`DAGScheduler` 与 `TaskScheduler`)**!
- **ResourceManager**:仅对接 Spark Client 受理作业与分配容器。
- **NodeManager**:负责在各工作节点拉起并托管 `Spark Executor` 进程执行计算任务。

D yarn-cluster vs yarn-client 运行模式全方位对比 ​

根据 Driver 究竟运行在集群内部还是客户端本地机器,Spark On YARN 严格划分为两种部署模式(通过 --deploy-mode cluster|client 指定):

对比维度yarn-cluster 模式(生产首选)yarn-client 模式(开发调试首选)
Driver 运行位置运行在 YARN 集群内某台 NodeManager 分配的 ApplicationMaster 容器内直接运行在提交任务的客户端本地物理机进程中(AM 仅作为空壳向 RM 申请资源)
客户端退出影响任务提交后即可安全关闭客户端终端,Driver 在集群后台持续跑完任务客户端绝对不能退出/断网!一旦本地客户端关闭,Driver 进程即被杀死,整个任务崩溃
日志与输出查看终端不打印业务 println / print 结果,需去 YARN Web UI (8088) 或开启 HistoryServer 查看容器日志控制台立即实时打印 Application 全部标准输出与调试日志,反馈极快
网络通信开销Driver 与所有 Executor 都在集群内网高速交互,网络延迟极低且稳定Driver 与集群 Executor 跨机高频通信,若提交机处于集群外部易遇网络瓶颈或网卡打满
典型适用场景生产环境定时批处理调度(如本项目 job-worker 定时向 YARN 提交聚类任务)交互式查询与代码排障(如在终端运行 spark-shell 实时调试算子结果)

```callout warn 本项目 job-worker 为什么必须选 yarn-cluster? 在生产环境中,job-worker 往往需要同时调度多个周期性聚类大任务。若使用 yarn-client,所有任务的 Driver JVM 都会挤在 job-worker 单机内存中导致瞬间 OOM 崩溃;采用 yarn-cluster 可将 Driver 分散均匀卸载到 YARN 集群各个计算节点上执行,具备极佳的容灾性与横向扩展能力。


---
[← 返回云原生项目总索引](../index.html)