Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
云原生项目全景架构与业务数据流转全链路
三大技术模块融合、四域系统拓扑与 job-worker 类 Hive 聚类计算闭环
三大核心技术模块定位与业务目标
本云原生平台围绕大规模图像特征检索与智能聚类这一核心业务场景,将传统大数据离线计算体系与 GPU 高性能实时图像推理引擎融为一体,并依托 Kubernetes 实现现代化运维与弹性编排。
- 模块 1 · 大数据分析 (Hadoop + Spark)
- 负责海量历史图像特征数据的分布式存储、定时聚类批处理与离线分析
- 模块 2 · GPU 集群 (AISE 图像识别)
- 负责单张图像实时切片识别、批量图像特征提取与特征结果集低延迟检索
- 模块 3 · K8s 云原生 (运维平台)
- 负责底层基础设施编排、AISE 有状态算力自动化运维 (Operator) 与可观测性治理
为什么需要大数据 + AISE 双集群协同?
- 特征提取与离线聚类分离:
GPU 集群 (AISE)专精高并发深度学习图像特征提取与实时检索;大数据集群 (Hadoop + Spark)专精千万级/亿级图像特征表的大规模并行聚类计算。 - 公共中间件解耦:通过
Redis承担高频聚类与检索结果缓存,通过Consul统一管理跨集群服务注册发现与动态配置下发。
四域系统全景架构拓扑
整个平台划分为业务组件层、AISE 图像识别集群、公共中间件与大数据集群四大核心域,各域之间通过标准 RPC/HTTP、JDBC 及专用数据通道协同运转。
| 架构域 | 核心组件清单 | 在整体系统中的核心职能 |
|---|---|---|
| 业务组件层 | archive-sync、job-worker、Web 界面 |
负责上游数据接入、定时调度 Spark 聚类作业以及面向终端用户的图像检索交互 |
| AISE 集群 | databus、odp、aise-gd、aise-se、feature-frame |
提供高性能 GPU 图像切片识别、批量特征向量提取及二次开发的结果集查询能力 |
| 公共中间件 | Redis、Consul、MySQL |
提供毫秒级热点结果缓存、分布式服务发现/健康检查及任务状态与中间特征库支撑 |
| 大数据集群 | Hadoop (HDFS + YARN)、Spark、ZooKeeper |
提供高可用分布式文件存储底座、内存级 DAG 并行聚类算力及强一致集群选主协调 |
三大核心业务组件深度剖析
业务组件层承担着数据输入、离线算力调度与前端检索呈现三大桥梁职责,使底层大数据算力与 GPU 识别算力真正转化为可用业务能力。
1. archive-sync(上游图像特征同步组件)
- 核心职责:持续连接上游业务源数据库,增量或全量同步图像基础数据及关键特征值表(如图像 ID、提取向量、时间戳与来源元数据)。
- 工程价值:隔离上游核心业务库读写压力,为下游
job-worker聚类与 AISE 检索库提供清洗后的一手特征数据源。
2. job-worker(“类自定义 Hive” 定时聚类调度器)
- 核心职责:定期触发大规模图像特征聚类任务,协同
Spark + Hadoop进行分布式并行计算,并将最终聚类结果回写存储。 - 类 Hive 内部实现机理:
- 内部封装了预设的 SQL 查询与计算逻辑模板(类似于轻量定制版 Hive,无需人工手写交互式 HQL)。
- 每次调度周期启动时,从 MySQL 中按批次读取一段待聚类的图像特征记录。
- 将数据切片或转换任务提交至底层 Spark 引擎(运行在 Hadoop YARN + HDFS 之上)执行并行聚类。
- 任务执行完毕后,同时将聚类标签与归属关系写回 MySQL(持久化)、Redis(高频缓存),并同步推送至 AISE 集群的
databus。
3. Web 界面(交互式以图搜图与档案检索入口)
- 核心职责:面向运营与业务人员提供可视化操作界面,接收用户上传的目标图片,触发检索流程并返回关联档案信息(包括关键图像特征、聚类簇标签、历史轨迹等)。
- 同步上游特征
- archive-sync | 解决上游数据源异构与隔离问题,保证特征库实时一致性
- 定时离线聚类
- job-worker | 内置 SQL 模板驱动 Spark 并行聚类,实现海量特征自动归档
- 高速缓存加速
- Redis + MySQL | 双写落盘与热缓存结合,避免大表检索穿透压垮数据库
- 在线搜图鉴真
- Web + AISE | 用户提交原图 -> 提取实时特征 -> 检索聚类与档案关键信息
D job-worker 分布式聚类流水线全链路时序
以一个完整的定时聚类周期与随后发生的用户检索请求为例,端到端交互时序如下:
公共中间件选型与跨集群解耦职责
| 中间件组件 | 核心部署形态 | 在项目中的关键作用 | 失效后的降级影响 |
|---|---|---|---|
| Redis | 主从 / 哨兵 / 集群模式 | 缓存 job-worker 产出的热门聚类标签与 Web 界面 高频档案结果,抗住前端高并发读流量 |
读请求穿透至 MySQL 与 databus,查询 RT 显著升高 |
| Consul | 多节点 Raft 一致性集群 | 维护微服务的服务注册表(如 aise-gd、aise-se、databus 实例动态地址)、健康检查与 KV 配置同步 |
新扩容节点无法被网关或上游发现,故障节点摘除延迟 |
| ZooKeeper | 奇数节点 (3 台) 仲裁集群 | 专职服务于大数据集群:承担 HDFS NameNode 与 YARN ResourceManager 主备选主与脑裂隔离 |
大数据控制面失去自动故障转移 (HA Failover) 能力 |
架构设计要点总结
- 冷热算力分层:
job-worker + Spark承担重吞吐的离线批聚类;AISE承担低延迟的在线 GPU 推理;两者通过MySQL / Redis / databus完成异步数据汇合。 - 双协调器专职隔离:大数据生态强依赖
ZooKeeper维护HDFS/YARN分布式锁与选举状态,而上层微服务与 AISE 集群采用更轻量的Consul做服务发现,职责边界清晰,避免彼此抖动产生级联故障。