Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

AISE 集群云原生化转型先导:有状态 gd/se 编排痛点与 Operator 架构蓝图

承接项目笔记云原生演进章节,拆解工作负载映射、有状态主从拓扑难题及后续 Operator 扩展接口

A

为什么要将 AISE 图像识别集群推进 K8s 云原生化?

随着图像识别请求呈现明显的波峰波谷特征,且底层 GPU 算力极其昂贵,传统基于静态虚拟机或 Ansible 脚本维护 AISE 集群的模式已触及瓶颈。依托本项目第三大模块——K8s 云原生运维平台,AISE 集群云原生化旨在达成三大核心目标:

算力精细化复用
依托 K8s 统一池化 GPU 与 CPU 资源,打通在线检索与离线批量特征提取的潮汐混部
全自动自愈与伸缩
当单 GPU 实例异常或推理洪峰到来时,自动完成实例拉起、状态拓扑重绑与弹性扩缩容
声明式标准运维
通过 CRD 将复杂的 gd-se 耦合规则固化为 YAML 声明,告别人工修改配置与重启
B

AISE 五大组件向 Kubernetes 工作负载映射全景

并非 AISE 集群中的所有组件都需要编写自定义 Operator。合理的技术选型应坚持**“无状态用原生控制器,强拓扑关联再上 Operator”**的克制原则:

原生 K8s 即可完美托管必须由 AISE Operator 接管编排七层流量接入Nginx 入口网关平滑扩缩无状态批量特征提取单图识别核心业务域List-Watch 监听期望拓扑统筹调度与注入下属 se 地址清单按配比拉起关联切片引擎并汇报状态结果查询与档案检索批量特征落盘外部客户端 / WebIngress / Gatewayodp (Deployment +HPA)feature-frame (GPUDeployment)AISE Custom Resource(CRD)AISE Operator 控制器aise-gd Pod 组aise-se GPU Pod 组databus (StatefulSet +PV / 外置 MySQL)
AISE 集群组件 自身状态与算力特征 推荐 K8s 编排方案 核心理由说明
odp (Nginx) 纯无状态七层代理网关 Deployment + Service / Ingress 仅负责负载均衡分发,任意实例宕机直接替换,原生 K8s 完美胜任
feature-frame 无状态批量 GPU 推理计算 Deployment + GPU Resource + HPA 批量任务间相互独立,直接按 GPU 显存请求量或队列积压长度自动扩缩即可
databus 基于 MySQL 二次开发的有状态数据库 StatefulSet + LocalPV(或外置高可用 DB) 需固定网络标识与持久化本地高速盘存储结果集
aise-gd & aise-se 强关联有状态协同集群(gd 决定并发,se 决定单图切片速度,且 gd 需维护 se 状态映射) 自定义 CRD + AISE Operator 控制器 原生 Deployment/StatefulSet 无法感知跨组件的成对比例绑定与状态重同步
C

深度剖析:为什么原生 StatefulSet 搞不定 gd 与 se 的耦合?

许多工程师初次迁移时,会尝试用两个独立的 StatefulSet 分别部署 aise-gd 和 aise-se,但在生产实战中会立刻遭遇三重死锁:

  1. 缺乏“成组配比”语义:业务想要“并发翻倍且单图保持 4 路切片加速”(即扩容为 2 个 gd + 8 个 se,且每组 1 gd 独占绑定 4 se),原生 K8s 不存在跨工作负载的原子配比调度规则。
  2. Pod 重建 IP 变更导致的状态失联:当某台 GPU 机器上的 aise-se-03 发生 OOM 重启并调度到新节点后,gd 必须感知到底层切片实例的重新注册、热刷新路由状态并清理挂起中的切片上下文。
  3. 优雅下线(Graceful Drain)复杂:缩容一个 gd 节点前,必须先通过 odp 摘除其入口流量,等待正在处理的图片全部收集齐 se 切片响应后,才能协同安全销毁对应的 gd 与绑定 se。
Operator 调谐循环 (Reconcile Loop) 核心接管思路

通过定义如 AiseCluster 的 CRD(Custom Resource Definition),运维人员只需在 YAML 中声明 gdReplicas: 2、sePerGd: 4;后台 AISE Operator 借助 client-go 的 Informer 监听 Pod 与 Endpoint 变化,在 Reconcile() 方法中自动计算差值、动态分配分组标识标签(如 aise.group=g1)、刷新 gd 的配置挂载或 Consul 注册表,实现全自动化的有状态主从自愈。

D

后续篇章待追加内容接口清单 (Roadmap)

本主题作为大主题预留入口,后续随着项目推进,将在二级列表中持续追加以下深度技术专题:

  • 预留位 7-2:AISE 集群 CRD 资源模型设计与 gd-se 状态拓扑绑定机制(详述 Spec/Status 字段结构设计、Webhook 默认值校验与状态机跃迁)。
  • 预留位 7-3:AISE Operator 控制器调谐循环 (Reconcile) 与成组弹性扩缩容实现(详述 Kubebuilder 源码级 Reconcile 流程、OwnerReference 级联清理与优雅缩容)。
  • 预留位 7-4:K8s 云原生运维平台构建、GPU 算力调度与全栈监控日志接入(详述 GPU Device Plugin / vGPU 切分、Prometheus GPU 显存指标采集及 Web 运维控制台集成)。

← 返回云原生项目总索引