Skip to content

A Spark 任务两大执行方式核心对比 ​

在搭建完 Hadoop HA + Spark On YARN 集群后,工程师通常通过两种互补方式向集群投递计算作业:

提交方式默认 YARN 运行模式开发语言与使用习惯适用场景定位
spark-shellyarn-client交互式 Scala REPL 命令行,即敲即运行交互式探索数据、验证算子链正确性、实时观察控制台返回结果
spark-submityarn-cluster(生产)或 yarn-client提交打包好的 Java/Scala .jar 或 Python (.py) 脚本生产级定时批处理(如项目 job-worker 周期性聚类作业)

B 实战案例一:spark-shell 求解海量重复整数 Top 10 ​

业务场景:HDFS 中存放着一个包含海量随机重复整数的大文件,利用 Scala 交互式命令行统计每个整数出现的频次,并按频次降序取出出现次数最多的 Top 10 写回 HDFS。

flow
[1. 上传本地数据文件至 HDFS] -> [2. 启动 spark-shell (yarn-client)]
[2. 启动 spark-shell (yarn-client)] -> [3. sc.textFile() 读取生成 RDD]
[3. sc.textFile() 读取生成 RDD] -> [4. 执行 flatMap/map/reduceByKey/sortBy 算子链]
[4. 执行 flatMap/map/reduceByKey/sortBy 算子链] -> [5. take(10) / saveAsTextFile() 写回 HDFS]
[5. take(10) / saveAsTextFile() 写回 HDFS] -> [6. 访问 Spark Web UI (4040) 实时观测 DAG 图]
scala
// 1. 启动交互式客户端连接 YARN
// spark-shell --master yarn --deploy-mode client

// 2. 读取 HDFS 文件创建初始 RDD
val linesRDD = sc.textFile("hdfs://ns1/input/numbers.txt")

// 3. 转换算子链:切分 -> 映射 (数字, 1) -> 聚合计数 -> 按计数降序排序
val top10RDD = linesRDD
  .flatMap(_.split("\\s+"))
  .filter(_.nonEmpty)
  .map(num => (num, 1))
  .reduceByKey(_ + _)
  .sortBy(_._2, ascending = false)

// 4. 行动算子:打印前 10 并持久化全部排序结果至 HDFS
top10RDD.take(10).foreach(println)
top10RDD.saveAsTextFile("hdfs://ns1/output/numbers_top10")

C 实战案例二:spark-submit 提交官方 Jar 与 PySpark 词频统计 ​

1. 官方内置 Jar 验证集群算力(yarn-cluster) ​

使用 Spark 自带的 examples/jars 计算圆周率 π(SparkPi),这是验证 YARN 能否成功调度 AM 并拉起多节点 Executor 并发计算的经典冒烟测试:

bash
spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  /usr/local/spark/examples/jars/spark-examples_2.11-2.4.8.jar 100

2. PySpark 词频统计 (WordCount) 工程实战 4 步曲 ​

  1. 准备输入数据:将本地待统计文本文件上传至 HDFS 输入目录(如 /input/words.txt)。
  2. 编写 Python 脚本:导入 pyspark 模块初始化 SparkContext,编排 flatMap -> map -> reduceByKey -> saveAsTextFile 逻辑。
  3. 提交 PySpark 作业至 YARN:使用 spark-submit --master yarn --deploy-mode cluster wordcount.py 投递。
  4. 查看输出与重跑排雷:通过 hdfs dfs -cat /output/wc_res/part-* 查看结果。
python
from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("PySparkWordCount")
sc = SparkContext(conf=conf)

rdd = sc.textFile("hdfs://ns1/input/words.txt")
counts = (
    rdd.flatMap(lambda line: line.split(" "))
       .filter(lambda w: len(w) > 0)
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b)
)
counts.saveAsTextFile("hdfs://ns1/output/wc_res")
sc.stop()
callout
HDFS 与 Spark 为了防止意外覆盖已有宝贵计算成果,规定 **`saveAsTextFile` 的目标目录必须事先不存在**。若不清理直接二次重跑 `spark-submit`,作业会立刻抛出 `Output directory already exists` 异常失败!重跑前务必执行:
`hdfs dfs -rm -r /output/wc_res`

D 开启 Spark HistoryServer 追踪已结束任务 ​

默认情况下,Spark 作业的 Web UI(如 4040 端口)仅在 Driver 运行期间存活。一旦作业跑完、Driver 退出,管理员就彻底无法在网页上回溯刚才的 Stage 耗时分布、Shuffle 读写量以及 DAG 执行图了。

sequence
participants: Spark_Driver, HDFS_EventLog, HistoryServer, Engineer_Browser
Spark_Driver -> HDFS_EventLog: 1. 作业运行过程中持续将事件流实时写入 HDFS 目录
Spark_Driver -> Spark_Driver: 2. 作业完成,Driver 退出并释放 4040 端口
HistoryServer -> HDFS_EventLog: 3. 后台常驻进程定期扫描 HDFS 事件日志目录并重建状态
Engineer_Browser -> HistoryServer: 4. 随时访问 18080 端口回溯历史 Job 的 DAG 图与性能瓶颈

核心配置修改(conf/spark-defaults.conf) ​

  1. 启用事件日志记录:设置 spark.eventLog.enabled true。
  2. 指定集中存放路径:设置 spark.eventLog.dir hdfs://ns1/spark-logs(需提前在 HDFS 创建该目录,且保证与 HistoryServer 配置 spark.history.fs.logDirectory 一致)。
  3. 关联 YARN 日志跳转:配置 spark.yarn.historyServer.address 指向 HistoryServer 主机与 18080 端口,从而支持直接从 YARN 8088 界面一键跳转查看已结束任务的完整 DAG 图谱。

← 返回云原生项目总索引