Skip to content

A 为什么要将 AISE 图像识别集群推进 K8s 云原生化? ​

随着图像识别请求呈现明显的波峰波谷特征,且底层 GPU 算力极其昂贵,传统基于静态虚拟机或 Ansible 脚本维护 AISE 集群的模式已触及瓶颈。依托本项目第三大模块——K8s 云原生运维平台,AISE 集群云原生化旨在达成三大核心目标:

kv
算力精细化复用: 依托 K8s 统一池化 GPU 与 CPU 资源,打通在线检索与离线批量特征提取的潮汐混部
全自动自愈与伸缩: 当单 GPU 实例异常或推理洪峰到来时,自动完成实例拉起、状态拓扑重绑与弹性扩缩容
声明式标准运维: 通过 CRD 将复杂的 gd-se 耦合规则固化为 YAML 声明,告别人工修改配置与重启

B AISE 五大组件向 Kubernetes 工作负载映射全景 ​

并非 AISE 集群中的所有组件都需要编写自定义 Operator。合理的技术选型应坚持**“无状态用原生控制器,强拓扑关联再上 Operator”**的克制原则:

flow
[外部客户端 / Web] -> [Ingress / Gateway]: 七层流量接入
[Ingress / Gateway] -> [odp (Deployment + HPA)]: Nginx 入口网关平滑扩缩
[odp (Deployment + HPA)] -> [feature-frame (GPU Deployment)]: 无状态批量特征提取
[odp (Deployment + HPA)] -> [AISE Custom Resource (CRD)]: 单图识别核心业务域

[AISE Operator 控制器] -> [AISE Custom Resource (CRD)]: List-Watch 监听期望拓扑
[AISE Operator 控制器] -> [aise-gd Pod 组]: 统筹调度与注入下属 se 地址清单
[AISE Operator 控制器] -> [aise-se GPU Pod 组]: 按配比拉起关联切片引擎并汇报状态

[aise-se GPU Pod 组] -> [databus (StatefulSet + PV / 外置 MySQL)]: 结果查询与档案检索
[feature-frame (GPU Deployment)] -> [databus (StatefulSet + PV / 外置 MySQL)]: 批量特征落盘

group 原生 K8s 即可完美托管: Ingress / Gateway, odp (Deployment + HPA), feature-frame (GPU Deployment), databus (StatefulSet + PV / 外置 MySQL)
group 必须由 AISE Operator 接管编排: AISE Custom Resource (CRD), AISE Operator 控制器, aise-gd Pod 组, aise-se GPU Pod 组
AISE 集群组件自身状态与算力特征推荐 K8s 编排方案核心理由说明
odp (Nginx)纯无状态七层代理网关Deployment + Service / Ingress仅负责负载均衡分发,任意实例宕机直接替换,原生 K8s 完美胜任
feature-frame无状态批量 GPU 推理计算Deployment + GPU Resource + HPA批量任务间相互独立,直接按 GPU 显存请求量或队列积压长度自动扩缩即可
databus基于 MySQL 二次开发的有状态数据库StatefulSet + LocalPV(或外置高可用 DB)需固定网络标识与持久化本地高速盘存储结果集
aise-gd & aise-se强关联有状态协同集群(gd 决定并发,se 决定单图切片速度,且 gd 需维护 se 状态映射)自定义 CRD + AISE Operator 控制器原生 Deployment/StatefulSet 无法感知跨组件的成对比例绑定与状态重同步

C 深度剖析:为什么原生 StatefulSet 搞不定 gd 与 se 的耦合? ​

许多工程师初次迁移时,会尝试用两个独立的 StatefulSet 分别部署 aise-gd 和 aise-se,但在生产实战中会立刻遭遇三重死锁:

  1. 缺乏“成组配比”语义:业务想要“并发翻倍且单图保持 4 路切片加速”(即扩容为 2 个 gd + 8 个 se,且每组 1 gd 独占绑定 4 se),原生 K8s 不存在跨工作负载的原子配比调度规则。
  2. Pod 重建 IP 变更导致的状态失联:当某台 GPU 机器上的 aise-se-03 发生 OOM 重启并调度到新节点后,gd 必须感知到底层切片实例的重新注册、热刷新路由状态并清理挂起中的切片上下文。
  3. 优雅下线(Graceful Drain)复杂:缩容一个 gd 节点前,必须先通过 odp 摘除其入口流量,等待正在处理的图片全部收集齐 se 切片响应后,才能协同安全销毁对应的 gd 与绑定 se。
callout
通过定义如 `AiseCluster` 的 **CRD(Custom Resource Definition)**,运维人员只需在 YAML 中声明 `gdReplicas: 2`、`sePerGd: 4`;后台 **AISE Operator** 借助 `client-go` 的 `Informer` 监听 Pod 与 Endpoint 变化,在 `Reconcile()` 方法中自动计算差值、动态分配分组标识标签(如 `aise.group=g1`)、刷新 `gd` 的配置挂载或 Consul 注册表,实现**全自动化的有状态主从自愈**。

D 后续篇章待追加内容接口清单 (Roadmap) ​

本主题作为大主题预留入口,后续随着项目推进,将在二级列表中持续追加以下深度技术专题:

  • 预留位 7-2:AISE 集群 CRD 资源模型设计与 gd-se 状态拓扑绑定机制(详述 Spec/Status 字段结构设计、Webhook 默认值校验与状态机跃迁)。
  • 预留位 7-3:AISE Operator 控制器调谐循环 (Reconcile) 与成组弹性扩缩容实现(详述 Kubebuilder 源码级 Reconcile 流程、OwnerReference 级联清理与优雅缩容)。
  • 预留位 7-4:K8s 云原生运维平台构建、GPU 算力调度与全栈监控日志接入(详述 GPU Device Plugin / vGPU 切分、Prometheus GPU 显存指标采集及 Web 运维控制台集成)。

← 返回云原生项目总索引