主题
A 生产故障背景与灾难现场呈现
某企业 AI 数字人渲染业务平台在将底层存储架构由本地物理 SSD 盘迁移至分布式网络存储后,生产集群开始呈现周期性节点雪崩式宕机。
kv
故障宿主特征: 仅运行 mfe-server (视频合成渲染) 的物理计算节点宕机
崩溃前兆 1: Kubelet 进程 CPU 使用率直线飙升打满 100%
崩溃前兆 2: 操作系统平均负载 (Load Average) 突破 80,节点失联 NotReadyflow
[业务进行数字人视频并发渲染] -> [频繁读取海量 AI 模型与贴图碎片]
[频繁读取海量 AI 模型与贴图碎片] -> [宿主机 Load Average 持续攀升]
[宿主机 Load Average 持续攀升] -> [Kubelet 响应超时未能更新 Lease 心跳]
[Kubelet 响应超时未能更新 Lease 心跳] -> (Master 判定节点 NotReady 并触发驱逐雪崩)B 黄金排障推演链路与火焰图诊断
面对高负载故障,SRE 团队展开了严密的四步排障推演:
sequence
participants: SRE团队, Linux操作系统, Perf分析工具, 研发业务团队
SRE团队 -> Linux操作系统: 1. 执行 ps aux | awk '$8 ~ /D/' 排查 D 状态进程
Linux操作系统 --> SRE团队: 2. 返回结果为空 (排除了彻底的磁盘 IO 死锁等待)
SRE团队 -> Perf分析工具: 3. 运行 perf record -a -g 抓取全系统内核调用栈
Perf分析工具 --> SRE团队: 4. 导出 CPU 火焰图 (发现密集 sys_newstat / getdents 系统调用)
SRE团队 -> 研发业务团队: 5. 核对 mfe-server 容器实现机制 (默认 6 路并发且未设资源上限)callout
- `D` 状态进程通常阻塞在内核磁盘 IO 或网络 NFS 响应中,无法响应任何信号(甚至 `kill -9`)。
- 若存在大量 D 进程,说明分布式存储服务端已挂死;而本次实测 D 进程为 0,表明底层网络存储尚可响应,问题根源在**客户端系统层面的高频消耗**。C 核心根因归因:Kubelet du 命令的致命隐形刺客
为什么 Kubelet 自身的 CPU 会狂飙至 100%?
flow
[Kubelet 周期巡检] -> [执行三项核心任务: 管理 Pod / 汇报状态 / 驱逐防护]
[执行三项核心任务: 管理 Pod / 汇报状态 / 驱逐防护] -> [采集容器临时存储 ephemeral-storage 占用]
[采集容器临时存储 ephemeral-storage 占用] -> [底层实现: 派生子进程调用 du -sk /var/lib/kubelet/...]
[底层实现: 派生子进程调用 du -sk /var/lib/kubelet/...] -> [递归遍历数十万个微小模型纹理与缓存文件]
[递归遍历数十万个微小模型纹理与缓存文件] -> (内核 dentry/inode 缓存被洗刷,CPU 彻底打满)callout
- 在早期 Kubernetes 版本中,Kubelet 对 Pod 临时目录大小的统计并不是通过文件系统配额接口读取,而是直接使用 `exec.Command("du", ...)` 递归扫描整个目录树!
- 当 AI 模型目录下存在数十万个碎小文件时,Kubelet 每隔十余秒便派生一次 `du`,数个 `du` 进程重叠并发,将物理机 CPU、系统总线与内核内存缓存彻底吃满!D 业务层叠加隐患:mfe-server 无限并发
研发团队确认,mfe-server 视频渲染容器存在以下设计缺陷:
- 默认开启 6 路并发渲染:没有针对节点可用核数自适应调节,每路并发均重度消耗 GPU、CPU 密集转码与高频磁盘读写。
- 缺乏 Cgroups Limit 约束:未显式配置
resources.limits.cpu,导致业务容器全力与 Kubelet 抢占 CPU 时间片,将 Kubelet 彻底饿死。
E 生产综合治理架构与修复落地
针对上述架构缺陷,团队实施了四位一体的彻底根治方案:
flow
[方案 1: 存储重构 LocalPV] -> [将高频热模型挂载回本地 NVMe SSD + 延迟绑定]
[方案 2: 业务容器硬限制] -> [YAML 显式配置 requests=4c / limits=8c 并收紧并发为 2 路]
[方案 3: Kubelet 监控调优] -> [配置 image-minimum-ttl 与驱逐缓冲,平抑高频上报]
[方案 4: 集群版本平滑升级] -> [升级至新版 K8s,采用 Project Quota 代替低效 du]
group 生产落地防线: 方案 1: 存储重构 LocalPV, 方案 2: 业务容器硬限制, 方案 3: Kubelet 监控调优, 方案 4: 集群版本平滑升级callout
- **节点负载从 80+ 暴降至 3.5**:物理宿主机 CPU 利用率稳定在 45% 黄金区间。
- **Kubelet 心跳稳定**:彻底杜绝了节点因 Kubelet 假死引发的误判 NotReady 与大规模 Pod 漂移雪崩。