主题
A 为什么要将 AISE 图像识别集群推进 K8s 云原生化?
随着图像识别请求呈现明显的波峰波谷特征,且底层 GPU 算力极其昂贵,传统基于静态虚拟机或 Ansible 脚本维护 AISE 集群的模式已触及瓶颈。依托本项目第三大模块——K8s 云原生运维平台,AISE 集群云原生化旨在达成三大核心目标:
kv
算力精细化复用: 依托 K8s 统一池化 GPU 与 CPU 资源,打通在线检索与离线批量特征提取的潮汐混部
全自动自愈与伸缩: 当单 GPU 实例异常或推理洪峰到来时,自动完成实例拉起、状态拓扑重绑与弹性扩缩容
声明式标准运维: 通过 CRD 将复杂的 gd-se 耦合规则固化为 YAML 声明,告别人工修改配置与重启B AISE 五大组件向 Kubernetes 工作负载映射全景
并非 AISE 集群中的所有组件都需要编写自定义 Operator。合理的技术选型应坚持**“无状态用原生控制器,强拓扑关联再上 Operator”**的克制原则:
flow
[外部客户端 / Web] -> [Ingress / Gateway]: 七层流量接入
[Ingress / Gateway] -> [odp (Deployment + HPA)]: Nginx 入口网关平滑扩缩
[odp (Deployment + HPA)] -> [feature-frame (GPU Deployment)]: 无状态批量特征提取
[odp (Deployment + HPA)] -> [AISE Custom Resource (CRD)]: 单图识别核心业务域
[AISE Operator 控制器] -> [AISE Custom Resource (CRD)]: List-Watch 监听期望拓扑
[AISE Operator 控制器] -> [aise-gd Pod 组]: 统筹调度与注入下属 se 地址清单
[AISE Operator 控制器] -> [aise-se GPU Pod 组]: 按配比拉起关联切片引擎并汇报状态
[aise-se GPU Pod 组] -> [databus (StatefulSet + PV / 外置 MySQL)]: 结果查询与档案检索
[feature-frame (GPU Deployment)] -> [databus (StatefulSet + PV / 外置 MySQL)]: 批量特征落盘
group 原生 K8s 即可完美托管: Ingress / Gateway, odp (Deployment + HPA), feature-frame (GPU Deployment), databus (StatefulSet + PV / 外置 MySQL)
group 必须由 AISE Operator 接管编排: AISE Custom Resource (CRD), AISE Operator 控制器, aise-gd Pod 组, aise-se GPU Pod 组| AISE 集群组件 | 自身状态与算力特征 | 推荐 K8s 编排方案 | 核心理由说明 |
|---|---|---|---|
odp (Nginx) | 纯无状态七层代理网关 | Deployment + Service / Ingress | 仅负责负载均衡分发,任意实例宕机直接替换,原生 K8s 完美胜任 |
feature-frame | 无状态批量 GPU 推理计算 | Deployment + GPU Resource + HPA | 批量任务间相互独立,直接按 GPU 显存请求量或队列积压长度自动扩缩即可 |
databus | 基于 MySQL 二次开发的有状态数据库 | StatefulSet + LocalPV(或外置高可用 DB) | 需固定网络标识与持久化本地高速盘存储结果集 |
aise-gd & aise-se | 强关联有状态协同集群(gd 决定并发,se 决定单图切片速度,且 gd 需维护 se 状态映射) | 自定义 CRD + AISE Operator 控制器 | 原生 Deployment/StatefulSet 无法感知跨组件的成对比例绑定与状态重同步 |
C 深度剖析:为什么原生 StatefulSet 搞不定 gd 与 se 的耦合?
许多工程师初次迁移时,会尝试用两个独立的 StatefulSet 分别部署 aise-gd 和 aise-se,但在生产实战中会立刻遭遇三重死锁:
- 缺乏“成组配比”语义:业务想要“并发翻倍且单图保持 4 路切片加速”(即扩容为
2 个 gd + 8 个 se,且每组1 gd独占绑定4 se),原生 K8s 不存在跨工作负载的原子配比调度规则。 - Pod 重建 IP 变更导致的状态失联:当某台 GPU 机器上的
aise-se-03发生 OOM 重启并调度到新节点后,gd必须感知到底层切片实例的重新注册、热刷新路由状态并清理挂起中的切片上下文。 - 优雅下线(Graceful Drain)复杂:缩容一个
gd节点前,必须先通过odp摘除其入口流量,等待正在处理的图片全部收集齐se切片响应后,才能协同安全销毁对应的gd与绑定se。
callout
通过定义如 `AiseCluster` 的 **CRD(Custom Resource Definition)**,运维人员只需在 YAML 中声明 `gdReplicas: 2`、`sePerGd: 4`;后台 **AISE Operator** 借助 `client-go` 的 `Informer` 监听 Pod 与 Endpoint 变化,在 `Reconcile()` 方法中自动计算差值、动态分配分组标识标签(如 `aise.group=g1`)、刷新 `gd` 的配置挂载或 Consul 注册表,实现**全自动化的有状态主从自愈**。D 后续篇章待追加内容接口清单 (Roadmap)
本主题作为大主题预留入口,后续随着项目推进,将在二级列表中持续追加以下深度技术专题:
- 预留位 7-2:
AISE 集群 CRD 资源模型设计与 gd-se 状态拓扑绑定机制(详述 Spec/Status 字段结构设计、Webhook 默认值校验与状态机跃迁)。 - 预留位 7-3:
AISE Operator 控制器调谐循环 (Reconcile) 与成组弹性扩缩容实现(详述 Kubebuilder 源码级 Reconcile 流程、OwnerReference 级联清理与优雅缩容)。 - 预留位 7-4:
K8s 云原生运维平台构建、GPU 算力调度与全栈监控日志接入(详述 GPU Device Plugin / vGPU 切分、Prometheus GPU 显存指标采集及 Web 运维控制台集成)。