主题
A 六节点大数据集群 Ansible 自动化部署剧本设计
面对 spark01 ~ spark06 六台节点数十项互信、环境变量、XML 参数修改及严格启动依赖,纯手工配置不仅耗时而且极易因漏改一个 myid 或环境变量引发启动失败。利用 Ansible Playbook 可将全部部署过程固化为可幂等复现的代码。
flow
[1. 初始化阶段: hosts 与主机名] -> [2. 安全通信: 批量执行 SSH 互信脚本]
[2. 安全通信: 批量执行 SSH 互信脚本] -> [3. 角色编排: Inventory 划分 6 台主机分组]
[3. 角色编排: Inventory 划分 6 台主机分组] -> [4. 模板渲染: Jinja2 动态注入 XML / cfg 配置]
[4. 模板渲染: Jinja2 动态注入 XML / cfg 配置] -> [5. 有序启动: 按 ZK -> JN -> NN -> DN -> YARN 顺次拉起]Playbook 核心清单与 Role 编排设计
ini
[zk_nodes]
spark01 myid=1
spark02 myid=2
spark03 myid=3
[namenodes]
spark01 nn_role=active
spark02 nn_role=standby
[resourcemanagers]
spark01 rm_role=active
spark03 rm_role=standby
[workers]
spark04
spark05
spark06
[hadoop_cluster:children]
zk_nodes
namenodes
resourcemanagers
workers| 自动化执行阶段 | Ansible 模块与动作设计 | 关键工程保障点 |
|---|---|---|
| Step 1:主机名与 Hosts | hostname 模块设置各节点名称;lineinfile / template 全集群同步 /etc/hosts | 保证后续 spark01~spark06 内部域名解析 100% 一致 |
| Step 2:SSH 免密互信 | 控制机生成密钥对并通过 authorized_keys 批量推送,或下发 Expect 互信脚本跑通全联通 | 让 Hadoop 原生脚本 start-dfs.sh 与 scp 免交互运行 |
| Step 3:基础软件 Role | common Role 关闭防火墙/SELinux、安装 JDK;利用 when: "'workers' in group_names" 仅对 spark04~06 安装 Scala | 精确区分控制节点与计算节点差异,避免冗余安装 |
| Step 4:中间件与配置渲染 | template 模块将 zoo.cfg.j2、core-site.xml.j2、hdfs-site.xml.j2、yarn-site.xml.j2 渲染下发 | 根据主机分组变量动态填充 myid、Active/Standby 角色与目录 |
| Step 5:冷启动编排保护 | 通过 stat 检查 /namenode/current/VERSION 是否已存在,仅在首次空盘时执行 hdfs namenode -format | 防止二次误运行 Playbook 重复格式化 NameNode 导致数据清零! |
B 深度架构思辨:Spark Operator 成熟,为什么 Hadoop 鲜有云原生 Operator?
在从传统大数据运维向云原生 K8s 迁移的过程中,经常会遇到一个核心架构困惑:社区已经拥有非常成熟的 Spark Operator(直接把 Spark 跑在 K8s 上),但为什么 Hadoop(HDFS + YARN)很少采用 K8s Operator 方式全面云原生化?
kv
计算无状态 vs 存储重状态: Spark 作业是短期运行的无状态计算任务 (Pod 算完即销毁);而 HDFS DataNode 是强绑定本地大容量物理磁盘的长期持久化存储系统
调度架构直接冲突: K8s 的核心本质是“取代 YARN 的下一代统一资源调度器”;把 YARN 再装进 K8s 里套娃调度,毫无意义且平白增加损耗三大深层原因全景剖析
| 对比维度 | Spark On Kubernetes (Spark Operator) | Hadoop (HDFS + YARN) 塞进 Kubernetes |
|---|---|---|
| 1. 调度层角色冲突 | Spark 天生支持多调度后端,直接去掉 YARN,让 K8s kube-scheduler 直接充当 ClusterManager 调度 Driver Pod 与 Executor Pod,架构更精简 | YARN 本身就是资源调度器。若用 K8s 管 YARN,再由 YARN 管计算任务,形成**“调度器套调度器”双层冗余**,资源碎片率飙升 |
| 2. 存储与本地化吞吐 | 计算与存储分离(Spark Pod 仅需通过网络高速读取外置对象存储 S3/MinIO 或既有外部 HDFS),Executor 临时目录随 Pod 销毁无负担 | HDFS 核心优势是**“多块物理裸盘直通 + 机架感知 + 计算向数据移动”**;强行容器化并经过虚拟网络 Overlay (VXLAN) 与 CSI 存储卷封装,会吞噬大量磁盘与网络带宽 |
| 3. 扩缩容与弹性诉求 | 极具弹性:每天跑聚类任务时才通过 SparkApplication CRD 动态拉起几十个 Executor Pod,算完瞬间释放 GPU/CPU 给在线业务混部 | 几乎无弹性:HDFS 扩容需平衡迁移海量 TB/PB 级数据块,缩容需漫长的数据块搬迁下线(Decommission),无法像无状态 Pod 那样秒级弹起弹落 |
callout
- **主流最佳实践**:保留底层稳定的高吞吐分布式存储(物理机/专有存储节点运行 **HDFS**,或直接采用云原生对象存储 **MinIO / S3**);而计算侧则彻底抛弃 YARN,采用 **Kubernetes + Spark Operator** 按需动态拉起 Spark Driver/Executor Pod,实现在线业务与离线计算资源的统一池化混部!