主题
A Spark 集群三大物理角色体系
无论采用哪种集群资源管理器运行 Spark,其运行时的物理进程模型都由 Driver(驱动器)、ClusterManager(集群管理器) 与 WorkerNode / Executor(执行器) 三大角色构成:
flow
[Application 用户程序] -> [Driver (运行 main 函数与 SparkContext)]: 创建 DAG 并协调任务
[Driver (运行 main 函数与 SparkContext)] -> [ClusterManager (资源管理节点)]: 申请 Executor 计算资源
[ClusterManager (资源管理节点)] -> [Worker Node 1] & [Worker Node 2]: 分配并拉起容器
[Worker Node 1] -> [Executor 1 进程]: 启动 Task 线程池
[Worker Node 2] -> [Executor 2 进程]: 启动 Task 线程池
[Driver (运行 main 函数与 SparkContext)] --> [Executor 1 进程] & [Executor 2 进程]: 直接下发 TaskSet 与回收结果| 集群角色 | 核心进程与组件 | 核心职责剖析 |
|---|---|---|
| Driver(驱动器) | 运行用户 main() 函数并初始化 SparkContext、DAGScheduler、TaskScheduler | 整个 Spark 应用程序的“大脑”与总管理者:解析代码构建 DAG、切分 Stage,向 ClusterManager 讨要资源后,直接向各 Executor 派发 Task 并维护任务进度 |
| ClusterManager(管理节点) | 外部或内置资源管家(如 Spark Master 或 YARN ResourceManager) | 仅负责统筹集群全局机器的 CPU/内存分配,审批 Executor 启动请求,不参与具体 Spark DAG 计算逻辑 |
| WorkerNode & Executor(工作节点与执行器) | Worker 节点上启动的 Executor 独立 JVM 进程 | 真正执行干活的“肌肉”:每个 Executor 内部拥有多线程池并行执行分配来的 Task,并利用自身堆内存缓存 RDD 分区数据 |
B Spark 四大部署模式全景对比
| 部署模式 | 资源调度中枢 | 适用场景与行业地位 |
|---|---|---|
| Standalone | Spark 自带轻量级 Master/Worker 调度器 | 适合纯 Spark 专有测试环境,但无法与现有大数据生态(HDFS/MR/Flink)共享资源池,生产较少单独使用 |
| On YARN(主流方案) | Hadoop YARN (ResourceManager + NodeManager) | 企业级 Hadoop 生态绝对主力;YARN 负责统一资源管理,Spark 负责高性能内存 DAG 调度与计算 |
| On Mesos | Apache Mesos 资源管理器 | 早期通用分布式内核(现已逐渐退出主流) |
| On Kubernetes (K8s) | Kubernetes kube-apiserver + kube-scheduler | 云原生时代新兴主力方案(Spark Driver/Executor 直接化身原生 Pod,Spark Operator 配合度极高) |
C Spark On YARN 深度融合架构剖析
在企业级 Hadoop + Spark 融合集群(即本项目大数据层采用方案)中,Spark 巧妙地“借壳”YARN 的 ApplicationMaster 机制实现了无缝对接:
flow
[Spark Client 客户端] -> [YARN ResourceManager]: 1. 提交 Spark 作业请求
[YARN ResourceManager] -> [YARN NodeManager 1]: 2. 分配容器运行 ApplicationMaster
[YARN NodeManager 1] -> [AM 容器 (内部运行 Spark Driver)]: 3. 启动含 SparkContext + Scheduler
[AM 容器 (内部运行 Spark Driver)] -> [YARN ResourceManager]: 4. 申请 Executor 容器资源
[YARN ResourceManager] -> [YARN NodeManager 2] & [YARN NodeManager 3]: 5. 在计算节点拉起 Executor
[AM 容器 (内部运行 Spark Driver)] --> [YARN NodeManager 2] & [YARN NodeManager 3]: 6. 直接派发 TaskSetcallout
- **YARN 的 `ApplicationMaster` 角色发生了质变**:在传统 MapReduce 中,AM 只是一个控制 MR 进度的辅助进程;而在 Spark On YARN(尤其是 `yarn-cluster` 模式)下,**YARN 的 `ApplicationMaster` 容器内部直接跑的就是完整的 `Spark Driver`(包含 `SparkContext`、`DAGScheduler` 与 `TaskScheduler`)**!
- **ResourceManager**:仅对接 Spark Client 受理作业与分配容器。
- **NodeManager**:负责在各工作节点拉起并托管 `Spark Executor` 进程执行计算任务。D yarn-cluster vs yarn-client 运行模式全方位对比
根据 Driver 究竟运行在集群内部还是客户端本地机器,Spark On YARN 严格划分为两种部署模式(通过 --deploy-mode cluster|client 指定):
| 对比维度 | yarn-cluster 模式(生产首选) | yarn-client 模式(开发调试首选) |
|---|---|---|
| Driver 运行位置 | 运行在 YARN 集群内某台 NodeManager 分配的 ApplicationMaster 容器内 | 直接运行在提交任务的客户端本地物理机进程中(AM 仅作为空壳向 RM 申请资源) |
| 客户端退出影响 | 任务提交后即可安全关闭客户端终端,Driver 在集群后台持续跑完任务 | 客户端绝对不能退出/断网!一旦本地客户端关闭,Driver 进程即被杀死,整个任务崩溃 |
| 日志与输出查看 | 终端不打印业务 println / print 结果,需去 YARN Web UI (8088) 或开启 HistoryServer 查看容器日志 | 控制台立即实时打印 Application 全部标准输出与调试日志,反馈极快 |
| 网络通信开销 | Driver 与所有 Executor 都在集群内网高速交互,网络延迟极低且稳定 | Driver 与集群 Executor 跨机高频通信,若提交机处于集群外部易遇网络瓶颈或网卡打满 |
| 典型适用场景 | 生产环境定时批处理调度(如本项目 job-worker 定时向 YARN 提交聚类任务) | 交互式查询与代码排障(如在终端运行 spark-shell 实时调试算子结果) |
```callout warn 本项目 job-worker 为什么必须选 yarn-cluster? 在生产环境中,job-worker 往往需要同时调度多个周期性聚类大任务。若使用 yarn-client,所有任务的 Driver JVM 都会挤在 job-worker 单机内存中导致瞬间 OOM 崩溃;采用 yarn-cluster 可将 Driver 分散均匀卸载到 YARN 集群各个计算节点上执行,具备极佳的容灾性与横向扩展能力。
---
[← 返回云原生项目总索引](../index.html)