Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
Spark 任务提交实战(spark-shell / PySpark)与 HistoryServer 历史追踪
Top10 重复数交互式计算、spark-submit 批提交、PySpark 词频统计及历史 DAG 回溯配置
Spark 任务两大执行方式核心对比
在搭建完 Hadoop HA + Spark On YARN 集群后,工程师通常通过两种互补方式向集群投递计算作业:
| 提交方式 | 默认 YARN 运行模式 | 开发语言与使用习惯 | 适用场景定位 |
|---|---|---|---|
spark-shell |
yarn-client |
交互式 Scala REPL 命令行,即敲即运行 | 交互式探索数据、验证算子链正确性、实时观察控制台返回结果 |
spark-submit |
yarn-cluster(生产)或 yarn-client |
提交打包好的 Java/Scala .jar 或 Python (.py) 脚本 |
生产级定时批处理(如项目 job-worker 周期性聚类作业) |
实战案例一:spark-shell 求解海量重复整数 Top 10
业务场景:HDFS 中存放着一个包含海量随机重复整数的大文件,利用 Scala 交互式命令行统计每个整数出现的频次,并按频次降序取出出现次数最多的 Top 10 写回 HDFS。
// 1. 启动交互式客户端连接 YARN// spark-shell --master yarn --deploy-mode client// 2. 读取 HDFS 文件创建初始 RDDval linesRDD = sc.textFile("hdfs://ns1/input/numbers.txt")// 3. 转换算子链:切分 -> 映射 (数字, 1) -> 聚合计数 -> 按计数降序排序val top10RDD = linesRDD .flatMap(_.split("\\s+")) .filter(_.nonEmpty) .map(num => (num, 1)) .reduceByKey(_ + _) .sortBy(_._2, ascending = false)// 4. 行动算子:打印前 10 并持久化全部排序结果至 HDFStop10RDD.take(10).foreach(println)top10RDD.saveAsTextFile("hdfs://ns1/output/numbers_top10")实战案例二:spark-submit 提交官方 Jar 与 PySpark 词频统计
1. 官方内置 Jar 验证集群算力(yarn-cluster)
使用 Spark 自带的 examples/jars 计算圆周率 (SparkPi),这是验证 YARN 能否成功调度 AM 并拉起多节点 Executor 并发计算的经典冒烟测试:
spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ /usr/local/spark/examples/jars/spark-examples_2.11-2.4.8.jar 1002. PySpark 词频统计 (WordCount) 工程实战 4 步曲
- 准备输入数据:将本地待统计文本文件上传至 HDFS 输入目录(如
/input/words.txt)。 - 编写 Python 脚本:导入
pyspark模块初始化SparkContext,编排flatMap -> map -> reduceByKey -> saveAsTextFile逻辑。 - 提交 PySpark 作业至 YARN:使用
spark-submit --master yarn --deploy-mode cluster wordcount.py投递。 - 查看输出与重跑排雷:通过
hdfs dfs -cat /output/wc_res/part-*查看结果。
from pyspark import SparkConf, SparkContextconf = SparkConf().setAppName("PySparkWordCount")sc = SparkContext(conf=conf)rdd = sc.textFile("hdfs://ns1/input/words.txt")counts = ( rdd.flatMap(lambda line: line.split(" ")) .filter(lambda w: len(w) > 0) .map(lambda word: (word, 1)) .reduceByKey(lambda a, b: a + b))counts.saveAsTextFile("hdfs://ns1/output/wc_res")sc.stop()生产踩坑必知:重跑任务前必须删除已有输出目录!
HDFS 与 Spark 为了防止意外覆盖已有宝贵计算成果,规定 saveAsTextFile 的目标目录必须事先不存在。若不清理直接二次重跑 spark-submit,作业会立刻抛出 Output directory already exists 异常失败!重跑前务必执行:
hdfs dfs -rm -r /output/wc_res
开启 Spark HistoryServer 追踪已结束任务
默认情况下,Spark 作业的 Web UI(如 4040 端口)仅在 Driver 运行期间存活。一旦作业跑完、Driver 退出,管理员就彻底无法在网页上回溯刚才的 Stage 耗时分布、Shuffle 读写量以及 DAG 执行图了。
核心配置修改(conf/spark-defaults.conf)
- 启用事件日志记录:设置
spark.eventLog.enabled true。 - 指定集中存放路径:设置
spark.eventLog.dir hdfs://ns1/spark-logs(需提前在 HDFS 创建该目录,且保证与 HistoryServer 配置spark.history.fs.logDirectory一致)。 - 关联 YARN 日志跳转:配置
spark.yarn.historyServer.address指向 HistoryServer 主机与18080端口,从而支持直接从 YARN8088界面一键跳转查看已结束任务的完整 DAG 图谱。