主题
A 三大核心技术模块定位与业务目标
本云原生平台围绕大规模图像特征检索与智能聚类这一核心业务场景,将传统大数据离线计算体系与 GPU 高性能实时图像推理引擎融为一体,并依托 Kubernetes 实现现代化运维与弹性编排。
kv
模块 1 · 大数据分析 (Hadoop + Spark): 负责海量历史图像特征数据的分布式存储、定时聚类批处理与离线分析
模块 2 · GPU 集群 (AISE 图像识别): 负责单张图像实时切片识别、批量图像特征提取与特征结果集低延迟检索
模块 3 · K8s 云原生 (运维平台): 负责底层基础设施编排、AISE 有状态算力自动化运维 (Operator) 与可观测性治理callout
- **特征提取与离线聚类分离**:`GPU 集群 (AISE)` 专精高并发深度学习图像特征提取与实时检索;`大数据集群 (Hadoop + Spark)` 专精千万级/亿级图像特征表的大规模并行聚类计算。
- **公共中间件解耦**:通过 `Redis` 承担高频聚类与检索结果缓存,通过 `Consul` 统一管理跨集群服务注册发现与动态配置下发。B 四域系统全景架构拓扑
整个平台划分为业务组件层、AISE 图像识别集群、公共中间件与大数据集群四大核心域,各域之间通过标准 RPC/HTTP、JDBC 及专用数据通道协同运转。
flow
(用户 / 业务客户端) -> [Web 界面]: 上传图片 / 发起检索
(上游业务数据库) -> [archive-sync]: 同步图像特征表
[Web 界面] -> [odp (Nginx 网关)]: 实时识别检索
[Web 界面] -> [(Redis + databus)]: 读取档案与特征结果
[archive-sync] -> [(MySQL 业务主库)]: 写入同步特征表
[job-worker] -> [(MySQL 业务主库)]: 分批抽取数据
[job-worker] -> [Spark + Hadoop 集群]: 提交并行聚类
[job-worker] -> [(Redis + databus)]: 回写聚类热缓存与结果集
[odp (Nginx 网关)] -> [AISE 推理集群 (gd / se / feature-frame)]
[AISE 推理集群 (gd / se / feature-frame)] -> [(Redis + databus)]: 写入 / 比对结果
[Consul 注册配置中心] --> [AISE 推理集群 (gd / se / feature-frame)]: 服务发现与配置
group 业务组件层: Web 界面, archive-sync, job-worker
group 数据与缓存总线: Redis + databus, MySQL 业务主库
group AISE 图像识别集群: odp (Nginx 网关), AISE 推理集群 (gd / se / feature-frame), Consul 注册配置中心
group 大数据集群: Spark + Hadoop 集群| 架构域 | 核心组件清单 | 在整体系统中的核心职能 |
|---|---|---|
| 业务组件层 | archive-sync、job-worker、Web 界面 | 负责上游数据接入、定时调度 Spark 聚类作业以及面向终端用户的图像检索交互 |
| AISE 集群 | databus、odp、aise-gd、aise-se、feature-frame | 提供高性能 GPU 图像切片识别、批量特征向量提取及二次开发的结果集查询能力 |
| 公共中间件 | Redis、Consul、MySQL | 提供毫秒级热点结果缓存、分布式服务发现/健康检查及任务状态与中间特征库支撑 |
| 大数据集群 | Hadoop (HDFS + YARN)、Spark、ZooKeeper | 提供高可用分布式文件存储底座、内存级 DAG 并行聚类算力及强一致集群选主协调 |
C 三大核心业务组件深度剖析
业务组件层承担着数据输入、离线算力调度与前端检索呈现三大桥梁职责,使底层大数据算力与 GPU 识别算力真正转化为可用业务能力。
1. archive-sync(上游图像特征同步组件)
- 核心职责:持续连接上游业务源数据库,增量或全量同步图像基础数据及关键特征值表(如图像 ID、提取向量、时间戳与来源元数据)。
- 工程价值:隔离上游核心业务库读写压力,为下游
job-worker聚类与 AISE 检索库提供清洗后的一手特征数据源。
2. job-worker(“类自定义 Hive” 定时聚类调度器)
- 核心职责:定期触发大规模图像特征聚类任务,协同
Spark + Hadoop进行分布式并行计算,并将最终聚类结果回写存储。 - 类 Hive 内部实现机理:
- 内部封装了预设的 SQL 查询与计算逻辑模板(类似于轻量定制版 Hive,无需人工手写交互式 HQL)。
- 每次调度周期启动时,从 MySQL 中按批次读取一段待聚类的图像特征记录。
- 将数据切片或转换任务提交至底层 Spark 引擎(运行在 Hadoop YARN + HDFS 之上)执行并行聚类。
- 任务执行完毕后,同时将聚类标签与归属关系写回 MySQL(持久化)、Redis(高频缓存),并同步推送至 AISE 集群的
databus。
3. Web 界面(交互式以图搜图与档案检索入口)
- 核心职责:面向运营与业务人员提供可视化操作界面,接收用户上传的目标图片,触发检索流程并返回关联档案信息(包括关键图像特征、聚类簇标签、历史轨迹等)。
kv
同步上游特征: archive-sync | 解决上游数据源异构与隔离问题,保证特征库实时一致性
定时离线聚类: job-worker | 内置 SQL 模板驱动 Spark 并行聚类,实现海量特征自动归档
高速缓存加速: Redis + MySQL | 双写落盘与热缓存结合,避免大表检索穿透压垮数据库
在线搜图鉴真: Web + AISE | 用户提交原图 -> 提取实时特征 -> 检索聚类与档案关键信息D job-worker 分布式聚类流水线全链路时序
以一个完整的定时聚类周期与随后发生的用户检索请求为例,端到端交互时序如下:
sequence
participants: Timer, job_worker, MySQL, Spark_YARN, HDFS, Redis, databus, WebUI
== 阶段 1:上游特征同步与定时聚类触发 ==
Timer -> job_worker: 1. 到达预设调度周期,唤醒聚类作业
job_worker -> MySQL: 2. 执行内置 SQL 分页拉取一批待处理图像特征数据
MySQL --> job_worker: 3. 返回特征数据集批次
== 阶段 2:提交 Hadoop + Spark 并行聚类 ==
job_worker -> Spark_YARN: 4. 封装聚类算子并提交 Spark Job (yarn-cluster)
Spark_YARN -> HDFS: 5. 读取历史全量特征基线并执行 DAG 内存并行聚类
HDFS --> Spark_YARN: 6. 写入聚类中间归并结果与新特征簇标签
Spark_YARN --> job_worker: 7. 上报 Job 执行成功 (SUCCEEDED) 与聚类汇总
== 阶段 3:多端结果持久化与缓存预热 ==
job_worker -> MySQL: 8. 回写更新聚类映射关系表
job_worker -> Redis: 9. 刷新热点聚类档案缓存 (降低查询延迟)
job_worker -> databus: 10. 同步最新特征簇结果集至 AISE 查询引擎
== 阶段 4:在线以图搜图检索闭环 ==
WebUI -> databus: 11. 提交实时识别特征进行高维比对与档案查询
WebUI -> Redis: 12. 补齐关联档案摘要并返回给用户展示E 公共中间件选型与跨集群解耦职责
| 中间件组件 | 核心部署形态 | 在项目中的关键作用 | 失效后的降级影响 |
|---|---|---|---|
| Redis | 主从 / 哨兵 / 集群模式 | 缓存 job-worker 产出的热门聚类标签与 Web 界面 高频档案结果,抗住前端高并发读流量 | 读请求穿透至 MySQL 与 databus,查询 RT 显著升高 |
| Consul | 多节点 Raft 一致性集群 | 维护微服务的服务注册表(如 aise-gd、aise-se、databus 实例动态地址)、健康检查与 KV 配置同步 | 新扩容节点无法被网关或上游发现,故障节点摘除延迟 |
| ZooKeeper | 奇数节点 (3 台) 仲裁集群 | 专职服务于大数据集群:承担 HDFS NameNode 与 YARN ResourceManager 主备选主与脑裂隔离 | 大数据控制面失去自动故障转移 (HA Failover) 能力 |
callout
1. **冷热算力分层**:`job-worker + Spark` 承担重吞吐的离线批聚类;`AISE` 承担低延迟的在线 GPU 推理;两者通过 `MySQL / Redis / databus` 完成异步数据汇合。
2. **双协调器专职隔离**:大数据生态强依赖 `ZooKeeper` 维护 `HDFS/YARN` 分布式锁与选举状态,而上层微服务与 AISE 集群采用更轻量的 `Consul` 做服务发现,职责边界清晰,避免彼此抖动产生级联故障。