主题
A AISE 集群定位与五大核心组件拓扑
AISE(图像识别 GPU 集群) 是整套云原生平台中最核心的在线与准在线推理算力底座。它既要处理前端用户单张图片的低延迟以图搜图,也要承接后台海量的批量图像特征向量提取,并将结果汇总入库供检索比对。
flow
(Web 界面 / 外部调用方) -> [odp (Nginx 入口网关)]: HTTP / 负载均衡分发
[odp (Nginx 入口网关)] -> [aise-gd (单图切片调度节点)]: 单张图像识别路由
[odp (Nginx 入口网关)] -> [feature-frame (批量特征提取)]: 批量特征提取路由
[aise-gd (单图切片调度节点)] -> [aise-se-1 (GPU 切片识别引擎)]: 分配图像切片 1
[aise-gd (单图切片调度节点)] -> [aise-se-2 (GPU 切片识别引擎)]: 分配图像切片 2
[aise-gd (单图切片调度节点)] -> [aise-se-N (GPU 切片识别引擎)]: 分配图像切片 N
[aise-se-1 (GPU 切片识别引擎)] -> [databus (MySQL 二次开发结果库)]: 检索 / 比对特征结果
[feature-frame (批量特征提取)] -> [databus (MySQL 二次开发结果库)]: 批量落盘特征结果集
[job-worker (离线聚类调度器)] -> [databus (MySQL 二次开发结果库)]: 同步离线聚类档案
group 流量接入层: odp (Nginx 入口网关)
group 在线单图识别流水线: aise-gd (单图切片调度节点), aise-se-1 (GPU 切片识别引擎), aise-se-2 (GPU 切片识别引擎), aise-se-N (GPU 切片识别引擎)
group 离线批量特征层: feature-frame (批量特征提取)
group 结果存储与检索层: databus (MySQL 二次开发结果库)| 组件名称 | 技术底座与部署特征 | 核心职责 | 关键上下游交互对象 |
|---|---|---|---|
| odp | 基于 Nginx 定制开发 | AISE 集群统一流量入口,负责单图识别与批量提取两类请求的负载均衡与反向代理分发 | 上游接 Web / 外部调用;下游代理 aise-gd 与 feature-frame |
| aise-gd | 单图识别核心控制与切分组件 | 接收 odp 分发的单图请求,执行相同计算任务的任务编排,将整张大图切分为多块子切片分发给 aise-se | 上游接 odp;下游维护状态并调度多个 aise-se 实例 |
| aise-se | GPU 图像切片深度学习推理引擎 | 接收来自 aise-gd 的局部图像切片,利用 GPU 进行并发推理识别,输出切片特征并聚合结果 | 被 aise-gd 直接调用,与其存在固定绑定与状态维护关系 |
| feature-frame | 批量高吞吐 GPU 特征提取服务 | 针对大批量离线/准离线图库执行高并发特征值向量提取(偏向吞吐优先而非单请求极低延迟) | 由 odp 代理接入,提取特征后写入 databus 等结果存储 |
| databus | 基于 MySQL 二次开发 | 承载图像识别结果集与聚类档案表,向业务系统提供高性能结构化查询与多维特征比对服务 | 直接与 job-worker 同步对接,并响应前端/网关结果检索 |
B 两条核心业务流量链路全解
根据业务访问模式对延迟(Latency)与吞吐(Throughput)的不同诉求,AISE 集群内部将流量严格切分为两条独立链路:
链路 1:单张图像实时识别流水线(延迟敏感型)
sequence
participants: Client, odp_Nginx, aise_gd, aise_se_1, aise_se_2, databus
Client -> odp_Nginx: 1. 上传单张待检索高清大图
odp_Nginx -> aise_gd: 2. 负载均衡路由至某空闲 gd 实例
aise_gd -> aise_gd: 3. 图像预处理与网格/ROI 切分为若干子切片
aise_gd -> aise_se_1: 4a. 并行下发切片 A 推理请求
aise_gd -> aise_se_2: 4b. 并行下发切片 B 推理请求
aise_se_1 --> aise_gd: 5a. 返回切片 A 特征与置信度
aise_se_2 --> aise_gd: 5b. 返回切片 B 特征与置信度
aise_gd -> databus: 6. 汇总整图特征向量并检索匹配档案
databus --> Client: 7. 经 odp 返回最终识别档案结果链路 2:批量图像特征提取流水线(吞吐优先型)
- 用户或上游图库通过
odp发送批量图像提取任务,Nginx 将流量路由至无状态扩展的feature-frame实例组。 feature-frame批量拉取图像并充分利用 GPU Batch Size 一次性榨干显存与计算单元吞吐,输出特征数据入库。
C 核心架构奥秘:aise-gd 与 aise-se 性能正交模型
在 AISE 集群容量规划与性能调优中,aise-gd 的实例数量与 aise-se 的实例数量分别控制着完全不同的性能指标维度:
kv
aise-gd 实例数量 ∝ 图片总并发数: 每个 gd 负责完整接管一张图片的预处理、切分与汇总;增加 gd 副本数直接提升集群同时处理的独立图片请求数 (QPS)
aise-se 实例数量 ∝ 单张图片识别速度: 一张大图会被切分成多个切片并行发往不同的 se 实例;单组下挂的 se 越多,单图推理耗时 (RT) 越短| 扩容策略 | 增扩目标组件 | 性能提升效果 | 适用业务场景 |
|---|---|---|---|
横向扩 aise-gd | 增加 gd 节点与副本 | 提升系统总并发数(同时接住更多用户上传的图片),单张图片自身耗时不变 | 高并发查询高峰期(大量并发小图或中等图片排队等待调度) |
纵向/横向扩 aise-se | 为每个 gd 配比更多 se | 缩短单张图片的识别延迟(切片并行度提高,GPU 算力分摊更细),降低单次请求 RT | 超大分辨率图像检索(如高清航拍/安防大图切分成数十块加速推理) |
callout
与普通的无状态微服务(如 `feature-frame`)不同,**`aise-gd` 与 `aise-se` 之间并非完全无状态随机负载均衡**:
- 每个 `aise-gd` 实例需要**明确感知并维护其下属绑定的一组 `aise-se` 实例拓扑、连接通道与任务上下文状态**。
- 如果 `aise-se` 在运行过程中发生网络漂移、IP 变更或单点重启,对应 `aise-gd` 持有的状态表若未能同步感知并刷新,会导致切片请求超时甚至整张图片识别失败。D 传统运维痛点与云原生 Operator 演进动因
在传统物理机或早期容器脚本部署模式下,aise-gd 与 aise-se 的强耦合状态给运维团队带来极大挑战:
- 扩缩容无法独立原子化:扩容不能简单对单个 Deployment 调整
replicas,必须严格按照1 个 gd : K 个 se的配比成组协调,并同步修改gd内部的se节点路由配置。 - 故障自愈链路断裂:当某个
aise-se所在 GPU 节点发生硬件故障或显存 OOM 崩溃重建后,新实例地址改变,传统 K8sService负载均衡无法直接解决gd -> se精细化有状态定向切片分配需求。 - 资源碎片与潮汐调度困难:白天高并发时希望多分配
gd应对请求洪峰,夜间大批量特征提取时希望将 GPU 算力让渡给feature-frame,人工变更极易出错。
callout
正是因为 `aise-gd` 与 `aise-se` 存在**拓扑状态强绑定**与**GPU 异构算力精细调度**需求,原生 K8s 的 `Deployment` 和 `StatefulSet` 均无法开箱即用,必须引入 **CRD + 自定义 Operator 控制器** 来接管 `gd-se` 的全生命周期编排(详见后续主题 7)。