Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

六节点 Hadoop HA + Spark On YARN + ZooKeeper 生产级部署全流程 SOP

主机角色拓扑、环境初始化、三大集群核心配置清单、8 步严格冷启动时序与日常重启手册

A

六节点高可用集群主机规划与拓扑矩阵

整套大数据计算与存储集群由 spark01 ~ spark06 共 6 台主机组成(每台主机至少配置 2GB 以上内存),实现 NameNode 双主备、ResourceManager 双主备、ZooKeeper 三节点仲裁与 3 路数据节点高可用。

调度与存储管辖控制仲裁面 (spark01~03)spark01: ZK1 +NN(Active) + RM(Active)spark02: ZK2 +NN(Standby)spark03: ZK3 +RM(Standby)存储计算节点群(spark04~06)spark04: JN1 + DN1 +NM1 + Sparkspark05: JN2 + DN2 +NM2 + Sparkspark06: JN3 + DN3 +NM3 + Spark
节点主机名 ZooKeeper HDFS 角色 YARN 角色 Spark 角色 最低内存要求
spark01 Node 1 (myid=1) NameNode (Active) + ZKFC ResourceManager (Active) — ≥2GB
spark02 Node 2 (myid=2) NameNode (Standby) + ZKFC — — ≥2GB
spark03 Node 3 (myid=3) — ResourceManager (Standby) — ≥2GB
spark04 — JournalNode + DataNode NodeManager Spark + Scala ≥2GB
spark05 — JournalNode + DataNode NodeManager Spark + Scala ≥2GB
spark06 — JournalNode + DataNode NodeManager Spark + Scala ≥2GB
B

前置系统环境准备 5 步法

在所有 6 台节点安装任何大数据软件之前,必须统一完成操作系统基线准备:

  1. 关闭防火墙与 SELinux:确保集群内部分布式 RPC 端口(8020、8485、8088、50070 等)互通无阻。
  2. 统一配置主机名与 /etc/hosts:将 spark01 ~ spark06 的内网 IP 与主机名映射分发至全部 6 台节点。
  3. 打通 SSH 免密密钥登录:配置从控制节点(及相互之间)免密 SSH 登录,确保一键启停脚本 (start-dfs.sh) 与 scp 分发顺畅执行。
  4. 安装与配置 JDK 环境变量:在全部 6 台主机部署统一版本 JDK 并配置 JAVA_HOME。
  5. 计算节点安装 Scala 解释器:在 spark04、spark05、spark06 上安装与 Spark 2.4.8 匹配的 Scala 运行时环境。
C

ZooKeeper、Hadoop HA 与 Spark 核心配置文件精讲

1. ZooKeeper 三节点搭建(spark01 ~ spark03)

  1. 下载解压 ZooKeeper 并将其 bin 目录加入系统环境变量 PATH。
  2. 编辑 zoo.cfg:设定 dataDir(持久化存储路径)与 server.1=spark01:2888:3888、server.2=spark02:2888:3888、server.3=spark03:2888:3888 集群成员列表。
  3. 在三台节点分别创建 /data 与 /logs 目录。
  4. 在 dataDir 下生成 myid 文件,分别写入数字 1、2、3(必须与 zoo.cfg 中 server.N 严格一致)。
  5. 启动 ZooKeeper 服务并交叉创建测试 ZNode,验证三节点数据同步是否正常。

2. Hadoop 2.10.1 HA 六大关键配置与目录分发

配置文件名 核心配置项与作用说明
hadoop-env.sh 显式声明 JAVA_HOME 绝对路径与 Hadoop 配置文件所在目录(防止非交互式 SSH 找不到 JDK)
core-site.xml 指定 HDFS 逻辑集群名(如 fs.defaultFS=hdfs://ns1)、运行时临时文件目录 hadoop.tmp.dir、以及 ZooKeeper 集群地址 ha.zookeeper.quorum
hdfs-site.xml 绑定逻辑集群下的两个 NameNode (nn1, nn2) RPC/HTTP 地址、JournalNode 共享编辑日志路径、数据目录、开启自动故障转移 dfs.ha.automatic-failover.enabled=true
mapred-site.xml 从 mapred-site.xml.template 模板复制更名,指定 mapreduce.framework.name=yarn 交由 YARN 统一调度
yarn-site.xml 开启 YARN RM 高可用、指定 rm1 (spark01) 与 rm2 (spark03) 主机地址、绑定 ZooKeeper 地址、开启日志聚合与(配合 Spark)关闭虚拟内存检查
etc/hadoop/slaves 写入所有 DataNode 与 NodeManager 工作节点主机名:spark04、spark05、spark06
  • 数据目录与分发:在节点上提前创建 /journal、/namenode、/datanode 本地目录,然后用 scp 将配好的整套 Hadoop 安装目录与系统环境变量同步拷贝至其余全部主机。

3. Spark 2.4.8 On YARN 关键配置(搭配 Hadoop 2.10.1)

Spark 核心配置要点清单 · configbash
# 1. spark-env.sh:绑定 JDK、Scala、Hadoop 主目录与 Hadoop 配置文件路径export JAVA_HOME=/usr/local/jdk1.8export SCALA_HOME=/usr/local/scalaexport HADOOP_HOME=/usr/local/hadoop-2.10.1export HADOOP_CONF_DIR=/usr/local/hadoop-2.10.1/etc/hadoop# 2. spark-defaults.conf:从 .template 复制并开启事件日志 (HistoryServer 必备)# 3. slaves:从 .template 复制,填入 spark04 / spark05 / spark06# 4. yarn-site.xml 防杀关键参数:关闭物理/虚拟内存超限严苛检查,避免 PySpark/Spark Executor 被 YARN 误杀yarn.nodemanager.pmem-check-enabled = falseyarn.nodemanager.vmem-check-enabled = false
D

Hadoop HA 集群首次冷启动 8 步严格时序

首次初始化 HA 集群绝不能直接一上来就执行 start-all.sh,必须严格遵守底层依赖链的先后顺序完成格式化与拉起:

ZK_1_3ZKFCJournalNode_4_6NameNode_1_2DataNode_4_6ResourceManager_1_31. 启动仲裁底座1. 在 spark01~03 依次启动 ZooKeeper集群并确认选出 Leader/Follower12. 在主 NameNode 执行 hdfs zkfc-formatZK 创建 HA 选举根路径22. 初始化共享存储与主从 NameNode3. 在 spark04~06 启动 JournalNode 集群 (必须先于 NN 格式化)34a. 在 spark01 格式化 NameNode 并启动 Active NN44b. 在 spark02 执行 bootstrapStandby同步元数据并启动 Standby NN53. 启动数据层与故障转移器5. 启动全部 DataNode 节点并向双 NN 注册汇报块状态66. 在 spark01 与 spark02 启动 ZKFC 进程完成 Active 自动锁定74. 启动计算调度与全量核验7. 启动 ResourceManager (spark01/03)与 NodeManager (spark04~06)88. 全面验证:访问 50070 (NNActive/Standby)、8088 (YARN UI) 及每台机器执行 jps 核对进程
核验入口与方式 检查目标主机与端口 预期正常状态
HDFS Web UI http://spark01:50070 & http://spark02:50070 一台显示为 active,另一台显示为 standby,Live Nodes = 3
YARN Web UI http://spark01:8088 & http://spark03:8088 访问 Standby 时自动 HTTP 307 重定向至当前 Active RM 页面,Active Nodes = 3
进程健康盘点 全 6 台节点分别执行 jps 精准对应各节点分配表:QuorumPeerMain、NameNode、DFSZKFailoverController、JournalNode、DataNode、ResourceManager、NodeManager
E

日常集群启停与重启标准运维手册

非首次初始化的日常运维重启操作,需遵循从上层计算到底层存储逆序停止、自底向上逐层拉起的原则:

日常停止与启动常用命令速查bash
# 1. 重启 ZooKeeper(在 spark01/02/03 分别执行)sh zkServer.sh stopsh zkServer.sh start# 2. 停止 Hadoop(先停 YARN 计算调度,再停 HDFS 存储与仲裁)stop-yarn.shyarn-daemon.sh stop resourcemanager   # 在备用 RM 节点单独补停hadoop-daemon.sh stop zkfchadoop-daemon.sh stop namenodehadoop-daemon.sh stop journalnode# 3. 启动 Hadoop(底层目录已完成互信免密时)start-dfs.sh     # 自动拉起全部 NameNode、DataNode、JournalNode 与 ZKFCstart-yarn.sh    # 自动拉起主 RM 与全部 NodeManager(备 RM 节点按需单独拉起)