Skip to content

A AISE 集群定位与五大核心组件拓扑 ​

AISE(图像识别 GPU 集群) 是整套云原生平台中最核心的在线与准在线推理算力底座。它既要处理前端用户单张图片的低延迟以图搜图,也要承接后台海量的批量图像特征向量提取,并将结果汇总入库供检索比对。

flow
(Web 界面 / 外部调用方) -> [odp (Nginx 入口网关)]: HTTP / 负载均衡分发

[odp (Nginx 入口网关)] -> [aise-gd (单图切片调度节点)]: 单张图像识别路由
[odp (Nginx 入口网关)] -> [feature-frame (批量特征提取)]: 批量特征提取路由

[aise-gd (单图切片调度节点)] -> [aise-se-1 (GPU 切片识别引擎)]: 分配图像切片 1
[aise-gd (单图切片调度节点)] -> [aise-se-2 (GPU 切片识别引擎)]: 分配图像切片 2
[aise-gd (单图切片调度节点)] -> [aise-se-N (GPU 切片识别引擎)]: 分配图像切片 N

[aise-se-1 (GPU 切片识别引擎)] -> [databus (MySQL 二次开发结果库)]: 检索 / 比对特征结果
[feature-frame (批量特征提取)] -> [databus (MySQL 二次开发结果库)]: 批量落盘特征结果集
[job-worker (离线聚类调度器)] -> [databus (MySQL 二次开发结果库)]: 同步离线聚类档案

group 流量接入层: odp (Nginx 入口网关)
group 在线单图识别流水线: aise-gd (单图切片调度节点), aise-se-1 (GPU 切片识别引擎), aise-se-2 (GPU 切片识别引擎), aise-se-N (GPU 切片识别引擎)
group 离线批量特征层: feature-frame (批量特征提取)
group 结果存储与检索层: databus (MySQL 二次开发结果库)
组件名称技术底座与部署特征核心职责关键上下游交互对象
odp基于 Nginx 定制开发AISE 集群统一流量入口,负责单图识别与批量提取两类请求的负载均衡与反向代理分发上游接 Web / 外部调用;下游代理 aise-gd 与 feature-frame
aise-gd单图识别核心控制与切分组件接收 odp 分发的单图请求,执行相同计算任务的任务编排,将整张大图切分为多块子切片分发给 aise-se上游接 odp;下游维护状态并调度多个 aise-se 实例
aise-seGPU 图像切片深度学习推理引擎接收来自 aise-gd 的局部图像切片,利用 GPU 进行并发推理识别,输出切片特征并聚合结果被 aise-gd 直接调用,与其存在固定绑定与状态维护关系
feature-frame批量高吞吐 GPU 特征提取服务针对大批量离线/准离线图库执行高并发特征值向量提取(偏向吞吐优先而非单请求极低延迟)由 odp 代理接入,提取特征后写入 databus 等结果存储
databus基于 MySQL 二次开发承载图像识别结果集与聚类档案表,向业务系统提供高性能结构化查询与多维特征比对服务直接与 job-worker 同步对接,并响应前端/网关结果检索

B 两条核心业务流量链路全解 ​

根据业务访问模式对延迟(Latency)与吞吐(Throughput)的不同诉求,AISE 集群内部将流量严格切分为两条独立链路:

链路 1:单张图像实时识别流水线(延迟敏感型) ​

sequence
participants: Client, odp_Nginx, aise_gd, aise_se_1, aise_se_2, databus
Client -> odp_Nginx: 1. 上传单张待检索高清大图
odp_Nginx -> aise_gd: 2. 负载均衡路由至某空闲 gd 实例
aise_gd -> aise_gd: 3. 图像预处理与网格/ROI 切分为若干子切片
aise_gd -> aise_se_1: 4a. 并行下发切片 A 推理请求
aise_gd -> aise_se_2: 4b. 并行下发切片 B 推理请求
aise_se_1 --> aise_gd: 5a. 返回切片 A 特征与置信度
aise_se_2 --> aise_gd: 5b. 返回切片 B 特征与置信度
aise_gd -> databus: 6. 汇总整图特征向量并检索匹配档案
databus --> Client: 7. 经 odp 返回最终识别档案结果

链路 2:批量图像特征提取流水线(吞吐优先型) ​

  • 用户或上游图库通过 odp 发送批量图像提取任务,Nginx 将流量路由至无状态扩展的 feature-frame 实例组。
  • feature-frame 批量拉取图像并充分利用 GPU Batch Size 一次性榨干显存与计算单元吞吐,输出特征数据入库。

C 核心架构奥秘:aise-gd 与 aise-se 性能正交模型 ​

在 AISE 集群容量规划与性能调优中,aise-gd 的实例数量与 aise-se 的实例数量分别控制着完全不同的性能指标维度:

kv
aise-gd 实例数量 ∝ 图片总并发数: 每个 gd 负责完整接管一张图片的预处理、切分与汇总;增加 gd 副本数直接提升集群同时处理的独立图片请求数 (QPS)
aise-se 实例数量 ∝ 单张图片识别速度: 一张大图会被切分成多个切片并行发往不同的 se 实例;单组下挂的 se 越多,单图推理耗时 (RT) 越短
扩容策略增扩目标组件性能提升效果适用业务场景
横向扩 aise-gd增加 gd 节点与副本提升系统总并发数(同时接住更多用户上传的图片),单张图片自身耗时不变高并发查询高峰期(大量并发小图或中等图片排队等待调度)
纵向/横向扩 aise-se为每个 gd 配比更多 se缩短单张图片的识别延迟(切片并行度提高,GPU 算力分摊更细),降低单次请求 RT超大分辨率图像检索(如高清航拍/安防大图切分成数十块加速推理)
callout
与普通的无状态微服务(如 `feature-frame`)不同,**`aise-gd` 与 `aise-se` 之间并非完全无状态随机负载均衡**:
- 每个 `aise-gd` 实例需要**明确感知并维护其下属绑定的一组 `aise-se` 实例拓扑、连接通道与任务上下文状态**。
- 如果 `aise-se` 在运行过程中发生网络漂移、IP 变更或单点重启,对应 `aise-gd` 持有的状态表若未能同步感知并刷新,会导致切片请求超时甚至整张图片识别失败。

D 传统运维痛点与云原生 Operator 演进动因 ​

在传统物理机或早期容器脚本部署模式下,aise-gd 与 aise-se 的强耦合状态给运维团队带来极大挑战:

  1. 扩缩容无法独立原子化:扩容不能简单对单个 Deployment 调整 replicas,必须严格按照 1 个 gd : K 个 se 的配比成组协调,并同步修改 gd 内部的 se 节点路由配置。
  2. 故障自愈链路断裂:当某个 aise-se 所在 GPU 节点发生硬件故障或显存 OOM 崩溃重建后,新实例地址改变,传统 K8s Service 负载均衡无法直接解决 gd -> se 精细化有状态定向切片分配需求。
  3. 资源碎片与潮汐调度困难:白天高并发时希望多分配 gd 应对请求洪峰,夜间大批量特征提取时希望将 GPU 算力让渡给 feature-frame,人工变更极易出错。
callout
正是因为 `aise-gd` 与 `aise-se` 存在**拓扑状态强绑定**与**GPU 异构算力精细调度**需求,原生 K8s 的 `Deployment` 和 `StatefulSet` 均无法开箱即用,必须引入 **CRD + 自定义 Operator 控制器** 来接管 `gd-se` 的全生命周期编排(详见后续主题 7)。

← 返回云原生项目总索引