主题
实验五:持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战
0. 实验目标与环境基线
本实验紧密结合你的 Mac mini M4 + Lima 三节点集群(lima-master: 192.168.104.1、lima-node01: 192.168.104.3、lima-node02: 192.168.104.4),从最基础的 hostPath 漂移丢数据痛点出发,亲手构建 静态 LocalPV + WaitForFirstConsumer 延迟绑定防调度死锁、部署 Rancher local-path-provisioner 实现动态本地存储(观察 Helper Pod 自动建目录)、在 lima-master 上搭建真实 NFS Server 供 node01/node02 跨节点共享挂载,最后完整复现并演练笔记中的“海量碎文件 du 遍历与 perf 性能排障”。
包含的 5 个核心实操点
- 实验点 5.1:
hostPath本地卷痛点验证(Pod 跨节点漂移后找不到原数据)与 PV 四大状态跃迁(AvailableBoundReleased) - 实验点 5.2:手工创建静态
LocalPV(带nodeAffinity)+ 验证WaitForFirstConsumer延迟绑定如何避免调度死锁 - 实验点 5.3:部署
local-path-provisioner动态存储类,结合StatefulSet的volumeClaimTemplates实现每个副本自动创建独立本地 PVC - 实验点 5.4:在
lima-master(192.168.104.1) 部署 NFS 服务端,lima-node01与lima-node02安装nfs-utils,实现跨节点ReadWriteMany (RWX)共享持久化存储 - 实验点 5.5:生产存储排障复盘演练——模拟容器产生万级碎小文件、观察
ps aux中的D状态进程与du开销
1. 实验前准备:创建实验五专属命名空间
在 lima-master 上执行:
bash
limactl shell master
kubectl create namespace lab5-storage
kubectl config set-context --current --namespace=lab5-storage2. 实验点 5.1:静态 PV/PVC 绑定与 Retain 回收策略下的状态跃迁
原理回顾:
- PV 是集群全局资源(不属任何 Namespace),PVC 是命名空间级资源。
- 当
persistentVolumeReclaimPolicy: Retain时,删除 PVC 后,PV 状态从Bound变为Released(数据保留在宿主机,但新 PVC 无法直接绑定,直到管理员清理并重置 PV 的spec.claimRef)。
步骤 1:在 lima-node01 创建目录并声明 PV 与 PVC
在 lima-node01 创建测试目录:
bash
limactl shell node01 sudo mkdir -p /data/static-pv
limactl shell node01 sudo sh -c 'echo "Persisted Data on Node01" > /data/static-pv/hello.txt'在 lima-master 创建 PV 与 PVC:
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-demo-retain
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: manual-sc
hostPath:
path: /data/static-pv
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-demo-retain
spec:
accessModes:
- ReadWriteOnce
storageClassName: manual-sc
resources:
requests:
storage: 1Gi
EOF
# 查看 PV 与 PVC 均变为 Bound 状态
kubectl get pv pv-demo-retain
kubectl get pvc pvc-demo-retain步骤 2:删除 PVC,观察 PV 变为 Released 状态
bash
kubectl delete pvc pvc-demo-retain
kubectl get pv pv-demo-retain
# 清理测试 PV
kubectl delete pv pv-demo-retain3. 实验点 5.2:静态 LocalPV 与 WaitForFirstConsumer 延迟绑定实战
原理回顾: 如果使用默认的 Immediate 立即绑定模式,PVC 一创建就会立刻绑定到某台节点(比如 lima-node01)的 LocalPV 上;万一后续创建的 Pod 因为 CPU 请求过大或 nodeSelector 只能去 lima-node02,就会发生调度死锁(Pod 永远 Pending)! 配置 volumeBindingMode: WaitForFirstConsumer 后,PVC 创建后保持 Pending,直到挂载它的 Pod 出现时,由 Scheduler 综合考量 Pod 调度约束后再完成 PV 绑定!
步骤 1:创建带 WaitForFirstConsumer 的 StorageClass 与绑定在 lima-node02 的 LocalPV
在 lima-node02 上创建本地卷目录:
bash
limactl shell node02 sudo mkdir -p /data/local-pv-node02在 lima-master 上创建 StorageClass、LocalPV 与 PVC:
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: local-storage-delayed
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer # 核心:延迟绑定,等待第一个消费它的 Pod 调度时再绑定!
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: local-pv-node02
spec:
capacity:
storage: 2Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
storageClassName: local-storage-delayed
local:
path: /data/local-pv-node02
nodeAffinity:
required:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- lima-node02
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: delayed-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: local-storage-delayed
resources:
requests:
storage: 1Gi
EOF
# 观察现象:此时 PV 是 Available,PVC 处于 Pending(WaitForFirstConsumer 生效,绝不盲目提前绑定!)
kubectl get pv local-pv-node02
kubectl get pvc delayed-pvc步骤 2:创建消费该 PVC 的 Pod,观察 Scheduler 自动将 Pod 调度到 lima-node02 并瞬间完成 PVC 绑定!
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
name: local-pv-consumer
spec:
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "echo 'Written via LocalPV' > /mnt/local-ok.txt && sleep 3600"]
volumeMounts:
- name: data
mountPath: /mnt
volumes:
- name: data
persistentVolumeClaim:
claimName: delayed-pvc
EOF
kubectl wait --for=condition=Ready pod/local-pv-consumer --timeout=60s
# 再次查看:PVC 已变为 Bound,且 Pod 被精准调度到了 lima-node02!
kubectl get pvc delayed-pvc
kubectl get pod local-pv-consumer -o wide
# 清理本小节资源
kubectl delete pod local-pv-consumer
kubectl delete pvc delayed-pvc
kubectl delete pv local-pv-node024. 实验点 5.3:部署 local-path-provisioner 动态存储类与 volumeClaimTemplates
原理回顾: 在笔记中我们学到了 StorageClass + Local Path Provisioner + 临时 Helper Pod 的三层协作流程。现在我们在集群中部署 Rancher 官方的 local-path-provisioner,并让 StatefulSet 通过 volumeClaimTemplates 为每个 Pod 自动动态生成独立的 PV!
步骤 1:一键安装 Rancher local-path-provisioner
bash
kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.28/deploy/local-path-storage.yaml
kubectl rollout status deployment/local-path-provisioner -n local-path-storage --timeout=90s
kubectl get sc local-path步骤 2:创建带 volumeClaimTemplates 的 StatefulSet,观察动态创建 PV 与 Helper Pod
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
name: db-headless
spec:
clusterIP: None
selector:
app: mini-db
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: mini-db
spec:
serviceName: "db-headless"
replicas: 2
selector:
matchLabels:
app: mini-db
template:
metadata:
labels:
app: mini-db
spec:
containers:
- name: db
image: busybox:1.36
command: ["sh", "-c", "echo \"Data of $(hostname) at $(date)\" >> /var/lib/db/record.log && cat /var/lib/db/record.log && sleep 3600"]
volumeMounts:
- name: db-data
mountPath: /var/lib/db
volumeClaimTemplates:
- metadata:
name: db-data
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: "local-path"
resources:
requests:
storage: 500Mi
EOF
kubectl rollout status statefulset/mini-db --timeout=90s
# 查看自动生成的 2 个专属 PVC (db-data-mini-db-0 和 db-data-mini-db-1) 以及自动创建的 2 个 PV!
kubectl get pvc,pv步骤 3:删除 mini-db-0 Pod,验证重建后原数据完好无损(有状态持久化)
bash
kubectl logs mini-db-0
kubectl delete pod mini-db-0
kubectl wait --for=condition=Ready pod/mini-db-0 --timeout=60s
# 再次查看日志,会发现既有第一次启动写入的时间戳,又有第二次重启追加的时间戳!
kubectl logs mini-db-05. 实验点 5.4:在三台 Rocky Linux 9 虚拟机搭建真实 NFS 跨节点共享存储 (RWX)
原理回顾:LocalPV 只能单节点挂载(RWO),而当多个节点的 Pod 需要读写同一份共享文件(ReadWriteMany, RWX)时,需要使用 NFS 网络存储。
步骤 1:在 lima-master (192.168.104.1) 安装并启动 NFS 服务端,在两台 Worker 安装客户端
在 macOS 终端或分别在三台 VM 执行:
bash
# 1. 三台虚拟机全部安装 nfs-utils(注意:Worker 节点必须安装 nfs-utils 才能挂载 NFS 卷!)
limactl shell master sudo dnf install -y nfs-utils
limactl shell node01 sudo dnf install -y nfs-utils
limactl shell node02 sudo dnf install -y nfs-utils
# 2. 在 lima-master (192.168.104.1) 上创建共享目录并配置 /etc/exports
limactl shell master sudo mkdir -p /srv/nfs/k8s-share
limactl shell master sudo chmod 777 /srv/nfs/k8s-share
limactl shell master sudo sh -c 'echo "/srv/nfs/k8s-share 192.168.104.0/24(rw,sync,no_root_squash,no_subtree_check)" > /etc/exports'
limactl shell master sudo systemctl enable --now rpcbind nfs-server
limactl shell master sudo exportfs -rav步骤 2:创建 ReadWriteMany 的 NFS PV、PVC 与跨节点双副本 Deployment
回到 lima-master 执行:
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-shared-pv
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteMany
storageClassName: nfs-manual
nfs:
server: 192.168.104.1
path: /srv/nfs/k8s-share
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs-shared-pvc
spec:
accessModes:
- ReadWriteMany
storageClassName: nfs-manual
resources:
requests:
storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nfs-web-cluster
spec:
replicas: 2
selector:
matchLabels:
app: nfs-web
template:
metadata:
labels:
app: nfs-web
spec:
containers:
- name: web
image: nginx:stable-alpine
volumeMounts:
- name: html-share
mountPath: /usr/share/nginx/html
volumes:
- name: html-share
persistentVolumeClaim:
claimName: nfs-shared-pvc
EOF
kubectl rollout status deployment/nfs-web-cluster --timeout=60s步骤 3:在 lima-master 宿主机修改 NFS 目录文件,验证两个节点的 Pod 实时同步生效!
bash
# 在 lima-master 的 /srv/nfs/k8s-share 下写入网页
echo "Shared Content from NFS Server 192.168.104.1!" | sudo tee /srv/nfs/k8s-share/index.html
# 分别请求两个不同节点上的 Pod IP,验证输出完全一致!
for ip in $(kubectl get pods -l app=nfs-web -o jsonpath='{.items[*].status.podIP}'); do
echo "Requesting Pod $ip:"
curl -s "http://$ip"
done6. 实验点 5.5:存储故障排查复盘——D 状态进程检查与 ephemeral-storage 碎文件遍历诊断
原理回顾:在笔记的 AI 数字人视频渲染集群雪崩 案例中,由于容器在临时存储或网络卷中生成了海量碎小文件,导致 Kubelet 定期统计目录大小(du)以及并发渲染吃满 CPU 和 I/O。下面我们在节点上实操这套标准诊断命令:
bash
# 1. 在宿主机排查是否存在阻塞在磁盘/NFS I/O 的不可中断睡眠 (D 状态) 进程
ps aux | awk '$8 ~ /D/ {print $0}'
# 2. 查看 Kubelet 统计每个 Pod 的 ephemeral-storage(临时存储与日志)实时体积指标
kubectl get --raw "/api/v1/nodes/lima-node01/proxy/stats/summary" | grep -A 8 '"ephemeral-storage"' | head -n 257. 实验五环境清理
bash
kubectl config set-context --current --namespace=default
kubectl delete namespace lab5-storage
kubectl delete pv nfs-shared-pv --ignore-not-found