Skip to content

A MapReduce 核心编程模型:分治法与归并排序 ​

MapReduce 是 Hadoop 第一代核心计算框架,其本质是将经典的计算机算法思想——分治法(Divide & Conquer) 与 归并排序(Merge Sort) 工程化地映射到大规模分布式集群中。

flow
[原始海量数据集] -> [Split 分片切分]
[Split 分片切分] -> [Map 阶段: 拆分若干相同子任务并行计算]
[Map 阶段: 拆分若干相同子任务并行计算] -> [Shuffle 阶段: 按 Key 排序归并并跨网络拉取]
[Shuffle 阶段: 按 Key 排序归并并跨网络拉取] -> [Reduce 阶段: 合并每个子任务归并结果集]
[Reduce 阶段: 合并每个子任务归并结果集] -> [输出最终完整计算结果]
阶段核心计算动作在 YARN 调度下的运行位置性能瓶颈原因
Map 阶段先分到最小分片单位,对每条记录执行 map() 最小运算,产出中间键值对 (K, V)由 YARN AM 就近调度到存放该 HDFS Block 的 NodeManager 执行,实现“计算向数据移动”必须将中间输出频繁落盘写入本地磁盘
Shuffle 阶段按照 Key 的哈希值进行分区、排序(Sort)并跨节点网络拷贝(Copy)拉取给下游跨越所有 MapTask 与 ReduceTask 节点存在大量磁盘 I/O(溢写合并)与跨机网络风暴
Reduce 阶段归并相同 Key 下的所有 Value 集合,执行 reduce() 聚合运算并写入 HDFS 最终结果在 YARN 新申请的 ReduceTask 容器中并发运行每完成一次 MapReduce 迭代都必须重新读写 HDFS,故后续被 Spark 内存计算全面替代

B 企业级 Hadoop 大数据生态 7 层全景架构图 ​

围绕 HDFS 与 YARN 核心底座,大数据体系演化出覆盖“接入 -> 存储 -> 资源 -> 计算 -> 调度 -> 分析”全链路的完整开源生态矩阵:

flow
[数据源: 结构化 DB / 半结构化日志 / 非结构化视频与图片] -> [数据传输层: Sqoop (DB 导入) / Flume (日志采集)]
[数据传输层: Sqoop (DB 导入) / Flume (日志采集)] -> [数据存储层: HDFS (文件) / Kafka (消息队列) / HBase (列式 NoSQL)]

[数据存储层: HDFS (文件) / Kafka (消息队列) / HBase (列式 NoSQL)] -> [资源管理层: YARN]
[资源管理层: YARN] -> [数据计算层: MapReduce (离线) / Spark (内存批流) / Flink (纯实时)]
[数据计算层: MapReduce (离线) / Spark (内存批流) / Flink (纯实时)] -> [数据分析层: 离线 (Hive / Kylin) | 实时 (ClickHouse / Doris)]

[任务调度层: Azkaban / DolphinScheduler] --> [数据传输层: Sqoop (DB 导入) / Flume (日志采集)]
[任务调度层: Azkaban / DolphinScheduler] --> [数据计算层: MapReduce (离线) / Spark (内存批流) / Flink (纯实时)]
[协调器: ZooKeeper] --> [数据存储层: HDFS (文件) / Kafka (消息队列) / HBase (列式 NoSQL)]
[协调器: ZooKeeper] --> [资源管理层: YARN]
[协调器: ZooKeeper] --> [任务调度层: Azkaban / DolphinScheduler]

group 数据源与采集: 数据源: 结构化 DB / 半结构化日志 / 非结构化视频与图片, 数据传输层: Sqoop (DB 导入) / Flume (日志采集)
group 存储与资源基石: 数据存储层: HDFS (文件) / Kafka (消息队列) / HBase (列式 NoSQL), 资源管理层: YARN
group 计算与上层分析: 数据计算层: MapReduce (离线) / Spark (内存批流) / Flink (纯实时), 数据分析层: 离线 (Hive / Kylin) | 实时 (ClickHouse / Doris)
group 编排与强一致协调: 任务调度层: Azkaban / DolphinScheduler, 协调器: ZooKeeper

C 全生态核心组件职责与现代演进对照 ​

生态分层代表组件核心技术定位与工程职责在本项目中的实际映射或演进
数据来源层MySQL、业务日志、音视频/PPT涵盖结构化 DB、半结构化文件日志及非结构化视频、图片与文档上游图像特征库及档案图像资源(由 archive-sync 拉取)
数据传输层Sqoop / FlumeSqoop 专攻关系型 DB 与 HDFS 间全/增量导入导出;Flume 专攻高吞吐半结构化日志流实时采集本项目中由自研 archive-sync 与 job-worker 协同承担上游 DB 抽取
数据存储层HDFS / Kafka / HBaseHDFS 存海量文件;Kafka 做高并发消息削峰队列;HBase 为基于 HDFS 的分布式列式 NoSQL 数据库HDFS 直接承载 Spark 聚类全量数据持久化与结果输出
资源管理层YARN统筹整个大数据集群节点的 CPU 与内存池化调度,支持多个计算框架共享集群承担所有 Spark 聚类任务的底层容器分配与资源隔离
数据计算层MapReduce / Spark / FlinkMR 离线慢计算;Spark 基于内存支持批处理、交互查询与微批流处理;Flink/SparkStreaming 专攻毫秒级实时流计算Spark 全面取代 MapReduce,负责高频并行图像聚类计算
任务调度层Azkaban / DolphinScheduler定义多节点 DAG 工作流(设定任务上下游依赖关系)、定时触发定期执行、监控任务状态并在失败时自动重试或告警对应业务侧定期调度的 job-worker(在大型平台可由海豚调度器统一编排)
全局协调层ZooKeeper贯穿数据传输、存储、资源管理与任务调度全链路,提供分布式锁、选主仲裁与配置元数据同步保障 HDFS NameNode 与 YARN RM 双主高可用与集群一致性
数据分析层Hive / Kylin vs ClickHouse / Doris离线数仓:Hive 基于 Hadoop 提供 HSQL 查询(现代链路已进化为 Hive -> Spark -> HDFS);实时 OLAP:ClickHouse / Doris 提供亚秒级分析响应job-worker 内部封装了类自定义 Hive 的 SQL 提取与 Spark 聚类提交逻辑
callout
- 早期 `Hive -> MapReduce -> HDFS` 链路虽能写 SQL,但每个 SQL Join 都要落地磁盘导致动辄跑数十分钟甚至数小时。
- 将底层执行引擎替换为 **Spark** 后,保留了 Hive 元数据管理与 SQL 开发效率,同时借助 Spark 内存 DAG 算子优化将计算速度提升 **10~100 倍**。

← 返回云原生项目总索引