主题
A Spark 任务两大执行方式核心对比
在搭建完 Hadoop HA + Spark On YARN 集群后,工程师通常通过两种互补方式向集群投递计算作业:
| 提交方式 | 默认 YARN 运行模式 | 开发语言与使用习惯 | 适用场景定位 |
|---|---|---|---|
spark-shell | yarn-client | 交互式 Scala REPL 命令行,即敲即运行 | 交互式探索数据、验证算子链正确性、实时观察控制台返回结果 |
spark-submit | yarn-cluster(生产)或 yarn-client | 提交打包好的 Java/Scala .jar 或 Python (.py) 脚本 | 生产级定时批处理(如项目 job-worker 周期性聚类作业) |
B 实战案例一:spark-shell 求解海量重复整数 Top 10
业务场景:HDFS 中存放着一个包含海量随机重复整数的大文件,利用 Scala 交互式命令行统计每个整数出现的频次,并按频次降序取出出现次数最多的 Top 10 写回 HDFS。
flow
[1. 上传本地数据文件至 HDFS] -> [2. 启动 spark-shell (yarn-client)]
[2. 启动 spark-shell (yarn-client)] -> [3. sc.textFile() 读取生成 RDD]
[3. sc.textFile() 读取生成 RDD] -> [4. 执行 flatMap/map/reduceByKey/sortBy 算子链]
[4. 执行 flatMap/map/reduceByKey/sortBy 算子链] -> [5. take(10) / saveAsTextFile() 写回 HDFS]
[5. take(10) / saveAsTextFile() 写回 HDFS] -> [6. 访问 Spark Web UI (4040) 实时观测 DAG 图]scala
// 1. 启动交互式客户端连接 YARN
// spark-shell --master yarn --deploy-mode client
// 2. 读取 HDFS 文件创建初始 RDD
val linesRDD = sc.textFile("hdfs://ns1/input/numbers.txt")
// 3. 转换算子链:切分 -> 映射 (数字, 1) -> 聚合计数 -> 按计数降序排序
val top10RDD = linesRDD
.flatMap(_.split("\\s+"))
.filter(_.nonEmpty)
.map(num => (num, 1))
.reduceByKey(_ + _)
.sortBy(_._2, ascending = false)
// 4. 行动算子:打印前 10 并持久化全部排序结果至 HDFS
top10RDD.take(10).foreach(println)
top10RDD.saveAsTextFile("hdfs://ns1/output/numbers_top10")C 实战案例二:spark-submit 提交官方 Jar 与 PySpark 词频统计
1. 官方内置 Jar 验证集群算力(yarn-cluster)
使用 Spark 自带的 examples/jars 计算圆周率
bash
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/usr/local/spark/examples/jars/spark-examples_2.11-2.4.8.jar 1002. PySpark 词频统计 (WordCount) 工程实战 4 步曲
- 准备输入数据:将本地待统计文本文件上传至 HDFS 输入目录(如
/input/words.txt)。 - 编写 Python 脚本:导入
pyspark模块初始化SparkContext,编排flatMap -> map -> reduceByKey -> saveAsTextFile逻辑。 - 提交 PySpark 作业至 YARN:使用
spark-submit --master yarn --deploy-mode cluster wordcount.py投递。 - 查看输出与重跑排雷:通过
hdfs dfs -cat /output/wc_res/part-*查看结果。
python
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySparkWordCount")
sc = SparkContext(conf=conf)
rdd = sc.textFile("hdfs://ns1/input/words.txt")
counts = (
rdd.flatMap(lambda line: line.split(" "))
.filter(lambda w: len(w) > 0)
.map(lambda word: (word, 1))
.reduceByKey(lambda a, b: a + b)
)
counts.saveAsTextFile("hdfs://ns1/output/wc_res")
sc.stop()callout
HDFS 与 Spark 为了防止意外覆盖已有宝贵计算成果,规定 **`saveAsTextFile` 的目标目录必须事先不存在**。若不清理直接二次重跑 `spark-submit`,作业会立刻抛出 `Output directory already exists` 异常失败!重跑前务必执行:
`hdfs dfs -rm -r /output/wc_res`D 开启 Spark HistoryServer 追踪已结束任务
默认情况下,Spark 作业的 Web UI(如 4040 端口)仅在 Driver 运行期间存活。一旦作业跑完、Driver 退出,管理员就彻底无法在网页上回溯刚才的 Stage 耗时分布、Shuffle 读写量以及 DAG 执行图了。
sequence
participants: Spark_Driver, HDFS_EventLog, HistoryServer, Engineer_Browser
Spark_Driver -> HDFS_EventLog: 1. 作业运行过程中持续将事件流实时写入 HDFS 目录
Spark_Driver -> Spark_Driver: 2. 作业完成,Driver 退出并释放 4040 端口
HistoryServer -> HDFS_EventLog: 3. 后台常驻进程定期扫描 HDFS 事件日志目录并重建状态
Engineer_Browser -> HistoryServer: 4. 随时访问 18080 端口回溯历史 Job 的 DAG 图与性能瓶颈核心配置修改(conf/spark-defaults.conf)
- 启用事件日志记录:设置
spark.eventLog.enabled true。 - 指定集中存放路径:设置
spark.eventLog.dir hdfs://ns1/spark-logs(需提前在 HDFS 创建该目录,且保证与 HistoryServer 配置spark.history.fs.logDirectory一致)。 - 关联 YARN 日志跳转:配置
spark.yarn.historyServer.address指向 HistoryServer 主机与18080端口,从而支持直接从 YARN8088界面一键跳转查看已结束任务的完整 DAG 图谱。