主题
A 六节点高可用集群主机规划与拓扑矩阵
整套大数据计算与存储集群由 spark01 ~ spark06 共 6 台主机组成(每台主机至少配置 2GB 以上内存),实现 NameNode 双主备、ResourceManager 双主备、ZooKeeper 三节点仲裁与 3 路数据节点高可用。
flow
[控制仲裁面 (spark01~03)] -> [spark01: ZK1 + NN(Active) + RM(Active)]
[控制仲裁面 (spark01~03)] -> [spark02: ZK2 + NN(Standby)]
[控制仲裁面 (spark01~03)] -> [spark03: ZK3 + RM(Standby)]
[spark01: ZK1 + NN(Active) + RM(Active)] -> [存储计算节点群 (spark04~06)]: 调度与存储管辖
[存储计算节点群 (spark04~06)] -> [spark04: JN1 + DN1 + NM1 + Spark]
[存储计算节点群 (spark04~06)] -> [spark05: JN2 + DN2 + NM2 + Spark]
[存储计算节点群 (spark04~06)] -> [spark06: JN3 + DN3 + NM3 + Spark]| 节点主机名 | ZooKeeper | HDFS 角色 | YARN 角色 | Spark 角色 | 最低内存要求 |
|---|---|---|---|---|---|
spark01 | Node 1 (myid=1) | NameNode (Active) + ZKFC | ResourceManager (Active) | — | |
spark02 | Node 2 (myid=2) | NameNode (Standby) + ZKFC | — | — | |
spark03 | Node 3 (myid=3) | — | ResourceManager (Standby) | — | |
spark04 | — | JournalNode + DataNode | NodeManager | Spark + Scala | |
spark05 | — | JournalNode + DataNode | NodeManager | Spark + Scala | |
spark06 | — | JournalNode + DataNode | NodeManager | Spark + Scala |
B 前置系统环境准备 5 步法
在所有 6 台节点安装任何大数据软件之前,必须统一完成操作系统基线准备:
- 关闭防火墙与 SELinux:确保集群内部分布式 RPC 端口(
8020、8485、8088、50070等)互通无阻。 - 统一配置主机名与
/etc/hosts:将spark01~spark06的内网 IP 与主机名映射分发至全部 6 台节点。 - 打通 SSH 免密密钥登录:配置从控制节点(及相互之间)免密 SSH 登录,确保一键启停脚本 (
start-dfs.sh) 与scp分发顺畅执行。 - 安装与配置 JDK 环境变量:在全部 6 台主机部署统一版本 JDK 并配置
JAVA_HOME。 - 计算节点安装 Scala 解释器:在
spark04、spark05、spark06上安装与 Spark 2.4.8 匹配的 Scala 运行时环境。
C ZooKeeper、Hadoop HA 与 Spark 核心配置文件精讲
1. ZooKeeper 三节点搭建(spark01 ~ spark03)
- 下载解压 ZooKeeper 并将其
bin目录加入系统环境变量PATH。 - 编辑
zoo.cfg:设定dataDir(持久化存储路径)与server.1=spark01:2888:3888、server.2=spark02:2888:3888、server.3=spark03:2888:3888集群成员列表。 - 在三台节点分别创建
/data与/logs目录。 - 在
dataDir下生成myid文件,分别写入数字1、2、3(必须与zoo.cfg中server.N严格一致)。 - 启动 ZooKeeper 服务并交叉创建测试 ZNode,验证三节点数据同步是否正常。
2. Hadoop 2.10.1 HA 六大关键配置与目录分发
| 配置文件名 | 核心配置项与作用说明 |
|---|---|
hadoop-env.sh | 显式声明 JAVA_HOME 绝对路径与 Hadoop 配置文件所在目录(防止非交互式 SSH 找不到 JDK) |
core-site.xml | 指定 HDFS 逻辑集群名(如 fs.defaultFS=hdfs://ns1)、运行时临时文件目录 hadoop.tmp.dir、以及 ZooKeeper 集群地址 ha.zookeeper.quorum |
hdfs-site.xml | 绑定逻辑集群下的两个 NameNode (nn1, nn2) RPC/HTTP 地址、JournalNode 共享编辑日志路径、数据目录、开启自动故障转移 dfs.ha.automatic-failover.enabled=true |
mapred-site.xml | 从 mapred-site.xml.template 模板复制更名,指定 mapreduce.framework.name=yarn 交由 YARN 统一调度 |
yarn-site.xml | 开启 YARN RM 高可用、指定 rm1 (spark01) 与 rm2 (spark03) 主机地址、绑定 ZooKeeper 地址、开启日志聚合与(配合 Spark)关闭虚拟内存检查 |
etc/hadoop/slaves | 写入所有 DataNode 与 NodeManager 工作节点主机名:spark04、spark05、spark06 |
- 数据目录与分发:在节点上提前创建
/journal、/namenode、/datanode本地目录,然后用scp将配好的整套 Hadoop 安装目录与系统环境变量同步拷贝至其余全部主机。
3. Spark 2.4.8 On YARN 关键配置(搭配 Hadoop 2.10.1)
bash
# 1. spark-env.sh:绑定 JDK、Scala、Hadoop 主目录与 Hadoop 配置文件路径
export JAVA_HOME=/usr/local/jdk1.8
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop-2.10.1
export HADOOP_CONF_DIR=/usr/local/hadoop-2.10.1/etc/hadoop
# 2. spark-defaults.conf:从 .template 复制并开启事件日志 (HistoryServer 必备)
# 3. slaves:从 .template 复制,填入 spark04 / spark05 / spark06
# 4. yarn-site.xml 防杀关键参数:关闭物理/虚拟内存超限严苛检查,避免 PySpark/Spark Executor 被 YARN 误杀
yarn.nodemanager.pmem-check-enabled = false
yarn.nodemanager.vmem-check-enabled = falseD Hadoop HA 集群首次冷启动 8 步严格时序
首次初始化 HA 集群绝不能直接一上来就执行 start-all.sh,必须严格遵守底层依赖链的先后顺序完成格式化与拉起:
sequence
participants: ZK_1_3, ZKFC, JournalNode_4_6, NameNode_1_2, DataNode_4_6, ResourceManager_1_3
== 1. 启动仲裁底座 ==
ZK_1_3 -> ZK_1_3: 1. 在 spark01~03 依次启动 ZooKeeper 集群并确认选出 Leader/Follower
ZKFC -> ZK_1_3: 2. 在主 NameNode 执行 hdfs zkfc -formatZK 创建 HA 选举根路径
== 2. 初始化共享存储与主从 NameNode ==
JournalNode_4_6 -> JournalNode_4_6: 3. 在 spark04~06 启动 JournalNode 集群 (必须先于 NN 格式化)
NameNode_1_2 -> JournalNode_4_6: 4a. 在 spark01 格式化 NameNode 并启动 Active NN
NameNode_1_2 -> NameNode_1_2: 4b. 在 spark02 执行 bootstrapStandby 同步元数据并启动 Standby NN
== 3. 启动数据层与故障转移器 ==
DataNode_4_6 -> NameNode_1_2: 5. 启动全部 DataNode 节点并向双 NN 注册汇报块状态
ZKFC -> ZK_1_3: 6. 在 spark01 与 spark02 启动 ZKFC 进程完成 Active 自动锁定
== 4. 启动计算调度与全量核验 ==
ResourceManager_1_3 -> ZK_1_3: 7. 启动 ResourceManager (spark01/03) 与 NodeManager (spark04~06)
note ZK_1_3, ResourceManager_1_3: 8. 全面验证:访问 50070 (NN Active/Standby)、8088 (YARN UI) 及每台机器执行 jps 核对进程| 核验入口与方式 | 检查目标主机与端口 | 预期正常状态 |
|---|---|---|
| HDFS Web UI | http://spark01:50070 & http://spark02:50070 | 一台显示为 active,另一台显示为 standby,Live Nodes = 3 |
| YARN Web UI | http://spark01:8088 & http://spark03:8088 | 访问 Standby 时自动 HTTP 307 重定向至当前 Active RM 页面,Active Nodes = 3 |
| 进程健康盘点 | 全 6 台节点分别执行 jps | 精准对应各节点分配表:QuorumPeerMain、NameNode、DFSZKFailoverController、JournalNode、DataNode、ResourceManager、NodeManager |
E 日常集群启停与重启标准运维手册
非首次初始化的日常运维重启操作,需遵循从上层计算到底层存储逆序停止、自底向上逐层拉起的原则:
bash
# 1. 重启 ZooKeeper(在 spark01/02/03 分别执行)
sh zkServer.sh stop
sh zkServer.sh start
# 2. 停止 Hadoop(先停 YARN 计算调度,再停 HDFS 存储与仲裁)
stop-yarn.sh
yarn-daemon.sh stop resourcemanager # 在备用 RM 节点单独补停
hadoop-daemon.sh stop zkfc
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop journalnode
# 3. 启动 Hadoop(底层目录已完成互信免密时)
start-dfs.sh # 自动拉起全部 NameNode、DataNode、JournalNode 与 ZKFC
start-yarn.sh # 自动拉起主 RM 与全部 NodeManager(备 RM 节点按需单独拉起)