按内容主题聚合分类:5 个大主题(二级列表,内含多篇 HTML 深度专题文章,含第 7 主题可扩展 AISE Operator 专区) + 2 个小主题(一级列表直接对应单篇 HTML 专题文章),现已生成 13 篇可视化 HTML 技术文章,并预留了后续追加槽位。
涵盖三大模块(Hadoop+Spark 大数据分析、GPU 图像识别、K8s 运维平台)、四域拓扑(业务组件/AISE/Redis+Consul 中间件/大数据集群)、archive-sync、job-worker(类自定义 Hive 定时聚类流水线)与 Web 搜图闭环。
涵盖 odp(Nginx 网关)、aise-gd(决定图片并发数)、aise-se(决定单图切片识别速度)、feature-frame(批量提取)、databus(MySQL 二次开发结果库),重点剖析 gd-se 有状态关联痛点。
涵盖 Hadoop 三层基石、HDFS 128MB Block 与三副本主从读写分离模型、edit_log + FSImage + JournalNode 快照合并演进,以及基于 HealthMonitor + ZKFC + ActiveStandbyElector 的 HA 自动故障转移。
涵盖 NameNode 并发写 edit_log 的 txid 定序、Lock A / Lock B 分段加锁与双缓存交换刷盘、客户端 512B Chunk → 127 Chunk Packet → DataQueue 异步批量发送、TreeSet 红黑树文件契约过期检测与完整读写流。
涵盖 ResourceManager、NodeManager、动态生成的 ApplicationMaster 三大核心组件、作业提交至注销 4 阶段 15 步全链路,以及基于 ZooKeeper 竞争写锁的主备切换与 ACL 权限 Fencing 防脑裂机制。
涵盖 MapReduce 分治与归并排序本质(Map 拆分 / Shuffle 归并 / Reduce 合并)、7 层企业级大数据生态图谱(Sqoop/Flume、HDFS/Kafka/HBase、YARN、MR/Spark/Flink、Azkaban/DolphinScheduler、ZooKeeper、Hive/Kylin vs ClickHouse/Doris)。
涵盖 Spark 全面替代 MapReduce 的四大特性(内存计算/易用 API/SparkSQL+Streaming+GraphX/YARN 兼容)、RDD 四大数据源、Transformation 惰性计算 vs Action 触发算子对比及 RDD 分布式/弹性/迭代/血缘容错四大特性。
涵盖 SparkContext / DAGScheduler / TaskScheduler 调度体系、Job/Stage/Task 层级辨析、reduceByKey 宽依赖 vs union 窄依赖 vs 单分区 repartition(4) 为何是宽依赖及落盘洗牌真相,以及反向回溯切分 Stage 算法。
涵盖 Application/Driver、ClusterManager、WorkerNode/Executor 三大物理角色,Standalone / On YARN / On Mesos / On K8s 四大部署方案,YARN AM 内部托管 SparkDriver 核心机理及 yarn-cluster vs yarn-client 深度对比。
涵盖 spark01~spark06 六节点角色规划($\ge 2\text{GB}$ 内存)、前置环境 5 步法、ZooKeeper 3 节点 myid 搭建、Hadoop 2.10.1 六大配置文件、8 步冷启动时序与 50070/8088/jps 验证、Spark 2.4.8 mem-check=false 与启停运维手册。
涵盖 spark-shell(yarn-client)求解大文件整数重复次数 Top 10、spark-submit(yarn-cluster)运行官方 Jar 与 PySpark 词频统计 4 步实战(含输出目录清空排雷),以及开启 eventLog 追踪历史任务 DAG。
涵盖六节点大数据集群 Ansible 剧本四阶段思路(Hosts/免密互信/角色分组 Inventory/Jinja2 模板与防重格式化保护),并深度解答“为什么 Spark Operator 成熟而 Hadoop 较少直接上 K8s”的底层原因。
承接笔记末尾 #### aise集群云原生化,梳理 AISE 五大组件向 K8s Deployment/StatefulSet/CRD 的映射选型,剖析原生控制器搞不定 gd-se 强耦合拓扑的根因,并规划后续 Operator 篇章接口。
预留位置:后续将追加 AiseCluster / AiseNodeGroup CRD Spec 与 Status 字段定义、gd:se 比例约束校验 Webhook 及服务注册表自动同步设计。
预留位置:后续将追加 Kubebuilder Reconcile 状态机实现、gd-se 故障漂移自愈重建、流量摘除优雅缩容(PreStop + Finalizer)及实操验证。
预留位置:后续将追加基于 K8s 的统一运维控制台、NVIDIA GPU Device Plugin / vGPU 切分调度,以及接通 Prometheus GPU 监控与 EFK/Loki 日志采集。
本结构已预留标准 HTML DOM 锚点(<!-- FUTURE_TOP_LEVEL_TOPIC_ANCHOR --> 与 <!-- FUTURE_APPEND_SLOT_AISE_OPERATOR_* -->)。后续新增“AISE Operator 源码实战”、“GPU 调度与混部优化”或其它云原生子系统笔记时,可直接按大主题(二级列表)或小主题(单篇卡片)无缝追加至此列表。