Skip to content

实验五:持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战 ​

0. 实验目标与环境基线 ​

本实验紧密结合你的 Mac mini M4 + Lima 三节点集群(lima-master: 192.168.104.1、lima-node01: 192.168.104.3、lima-node02: 192.168.104.4),从最基础的 hostPath 漂移丢数据痛点出发,亲手构建 静态 LocalPV + WaitForFirstConsumer 延迟绑定防调度死锁、部署 Rancher local-path-provisioner 实现动态本地存储(观察 Helper Pod 自动建目录)、在 lima-master 上搭建真实 NFS Server 供 node01/node02 跨节点共享挂载,最后完整复现并演练笔记中的“海量碎文件 du 遍历与 perf 性能排障”。

包含的 5 个核心实操点 ​

  1. 实验点 5.1:hostPath 本地卷痛点验证(Pod 跨节点漂移后找不到原数据)与 PV 四大状态跃迁(Available → Bound → Released)
  2. 实验点 5.2:手工创建静态 LocalPV(带 nodeAffinity)+ 验证 WaitForFirstConsumer 延迟绑定如何避免调度死锁
  3. 实验点 5.3:部署 local-path-provisioner 动态存储类,结合 StatefulSet 的 volumeClaimTemplates 实现每个副本自动创建独立本地 PVC
  4. 实验点 5.4:在 lima-master (192.168.104.1) 部署 NFS 服务端,lima-node01 与 lima-node02 安装 nfs-utils,实现跨节点 ReadWriteMany (RWX) 共享持久化存储
  5. 实验点 5.5:生产存储排障复盘演练——模拟容器产生万级碎小文件、观察 ps aux 中的 D 状态进程与 du 开销

1. 实验前准备:创建实验五专属命名空间 ​

在 lima-master 上执行:

bash
limactl shell master

kubectl create namespace lab5-storage
kubectl config set-context --current --namespace=lab5-storage

2. 实验点 5.1:静态 PV/PVC 绑定与 Retain 回收策略下的状态跃迁 ​

原理回顾:

  • PV 是集群全局资源(不属任何 Namespace),PVC 是命名空间级资源。
  • 当 persistentVolumeReclaimPolicy: Retain 时,删除 PVC 后,PV 状态从 Bound 变为 Released(数据保留在宿主机,但新 PVC 无法直接绑定,直到管理员清理并重置 PV 的 spec.claimRef)。

步骤 1:在 lima-node01 创建目录并声明 PV 与 PVC ​

在 lima-node01 创建测试目录:

bash
limactl shell node01 sudo mkdir -p /data/static-pv
limactl shell node01 sudo sh -c 'echo "Persisted Data on Node01" > /data/static-pv/hello.txt'

在 lima-master 创建 PV 与 PVC:

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-demo-retain
spec:
  capacity:
    storage: 1Gi
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: manual-sc
  hostPath:
    path: /data/static-pv
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-demo-retain
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: manual-sc
  resources:
    requests:
      storage: 1Gi
EOF

# 查看 PV 与 PVC 均变为 Bound 状态
kubectl get pv pv-demo-retain
kubectl get pvc pvc-demo-retain

步骤 2:删除 PVC,观察 PV 变为 Released 状态 ​

bash
kubectl delete pvc pvc-demo-retain
kubectl get pv pv-demo-retain
# 清理测试 PV
kubectl delete pv pv-demo-retain

3. 实验点 5.2:静态 LocalPV 与 WaitForFirstConsumer 延迟绑定实战 ​

原理回顾: 如果使用默认的 Immediate 立即绑定模式,PVC 一创建就会立刻绑定到某台节点(比如 lima-node01)的 LocalPV 上;万一后续创建的 Pod 因为 CPU 请求过大或 nodeSelector 只能去 lima-node02,就会发生调度死锁(Pod 永远 Pending)! 配置 volumeBindingMode: WaitForFirstConsumer 后,PVC 创建后保持 Pending,直到挂载它的 Pod 出现时,由 Scheduler 综合考量 Pod 调度约束后再完成 PV 绑定!

步骤 1:创建带 WaitForFirstConsumer 的 StorageClass 与绑定在 lima-node02 的 LocalPV ​

在 lima-node02 上创建本地卷目录:

bash
limactl shell node02 sudo mkdir -p /data/local-pv-node02

在 lima-master 上创建 StorageClass、LocalPV 与 PVC:

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-storage-delayed
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer   # 核心:延迟绑定,等待第一个消费它的 Pod 调度时再绑定!
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: local-pv-node02
spec:
  capacity:
    storage: 2Gi
  volumeMode: Filesystem
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-storage-delayed
  local:
    path: /data/local-pv-node02
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - lima-node02
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: delayed-pvc
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: local-storage-delayed
  resources:
    requests:
      storage: 1Gi
EOF

# 观察现象:此时 PV 是 Available,PVC 处于 Pending(WaitForFirstConsumer 生效,绝不盲目提前绑定!)
kubectl get pv local-pv-node02
kubectl get pvc delayed-pvc

步骤 2:创建消费该 PVC 的 Pod,观察 Scheduler 自动将 Pod 调度到 lima-node02 并瞬间完成 PVC 绑定! ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: local-pv-consumer
spec:
  containers:
  - name: app
    image: busybox:1.36
    command: ["sh", "-c", "echo 'Written via LocalPV' > /mnt/local-ok.txt && sleep 3600"]
    volumeMounts:
    - name: data
      mountPath: /mnt
  volumes:
  - name: data
    persistentVolumeClaim:
      claimName: delayed-pvc
EOF

kubectl wait --for=condition=Ready pod/local-pv-consumer --timeout=60s

# 再次查看:PVC 已变为 Bound,且 Pod 被精准调度到了 lima-node02!
kubectl get pvc delayed-pvc
kubectl get pod local-pv-consumer -o wide

# 清理本小节资源
kubectl delete pod local-pv-consumer
kubectl delete pvc delayed-pvc
kubectl delete pv local-pv-node02

4. 实验点 5.3:部署 local-path-provisioner 动态存储类与 volumeClaimTemplates ​

原理回顾: 在笔记中我们学到了 StorageClass + Local Path Provisioner + 临时 Helper Pod 的三层协作流程。现在我们在集群中部署 Rancher 官方的 local-path-provisioner,并让 StatefulSet 通过 volumeClaimTemplates 为每个 Pod 自动动态生成独立的 PV!

步骤 1:一键安装 Rancher local-path-provisioner ​

bash
kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.28/deploy/local-path-storage.yaml

kubectl rollout status deployment/local-path-provisioner -n local-path-storage --timeout=90s
kubectl get sc local-path

步骤 2:创建带 volumeClaimTemplates 的 StatefulSet,观察动态创建 PV 与 Helper Pod ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  name: db-headless
spec:
  clusterIP: None
  selector:
    app: mini-db
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mini-db
spec:
  serviceName: "db-headless"
  replicas: 2
  selector:
    matchLabels:
      app: mini-db
  template:
    metadata:
      labels:
        app: mini-db
    spec:
      containers:
      - name: db
        image: busybox:1.36
        command: ["sh", "-c", "echo \"Data of $(hostname) at $(date)\" >> /var/lib/db/record.log && cat /var/lib/db/record.log && sleep 3600"]
        volumeMounts:
        - name: db-data
          mountPath: /var/lib/db
  volumeClaimTemplates:
  - metadata:
      name: db-data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "local-path"
      resources:
        requests:
          storage: 500Mi
EOF

kubectl rollout status statefulset/mini-db --timeout=90s

# 查看自动生成的 2 个专属 PVC (db-data-mini-db-0 和 db-data-mini-db-1) 以及自动创建的 2 个 PV!
kubectl get pvc,pv

步骤 3:删除 mini-db-0 Pod,验证重建后原数据完好无损(有状态持久化) ​

bash
kubectl logs mini-db-0
kubectl delete pod mini-db-0
kubectl wait --for=condition=Ready pod/mini-db-0 --timeout=60s

# 再次查看日志,会发现既有第一次启动写入的时间戳,又有第二次重启追加的时间戳!
kubectl logs mini-db-0

5. 实验点 5.4:在三台 Rocky Linux 9 虚拟机搭建真实 NFS 跨节点共享存储 (RWX) ​

原理回顾:LocalPV 只能单节点挂载(RWO),而当多个节点的 Pod 需要读写同一份共享文件(ReadWriteMany, RWX)时,需要使用 NFS 网络存储。

步骤 1:在 lima-master (192.168.104.1) 安装并启动 NFS 服务端,在两台 Worker 安装客户端 ​

在 macOS 终端或分别在三台 VM 执行:

bash
# 1. 三台虚拟机全部安装 nfs-utils(注意:Worker 节点必须安装 nfs-utils 才能挂载 NFS 卷!)
limactl shell master sudo dnf install -y nfs-utils
limactl shell node01 sudo dnf install -y nfs-utils
limactl shell node02 sudo dnf install -y nfs-utils

# 2. 在 lima-master (192.168.104.1) 上创建共享目录并配置 /etc/exports
limactl shell master sudo mkdir -p /srv/nfs/k8s-share
limactl shell master sudo chmod 777 /srv/nfs/k8s-share
limactl shell master sudo sh -c 'echo "/srv/nfs/k8s-share 192.168.104.0/24(rw,sync,no_root_squash,no_subtree_check)" > /etc/exports'
limactl shell master sudo systemctl enable --now rpcbind nfs-server
limactl shell master sudo exportfs -rav

步骤 2:创建 ReadWriteMany 的 NFS PV、PVC 与跨节点双副本 Deployment ​

回到 lima-master 执行:

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-shared-pv
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteMany
  storageClassName: nfs-manual
  nfs:
    server: 192.168.104.1
    path: /srv/nfs/k8s-share
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-shared-pvc
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: nfs-manual
  resources:
    requests:
      storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-web-cluster
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nfs-web
  template:
    metadata:
      labels:
        app: nfs-web
    spec:
      containers:
      - name: web
        image: nginx:stable-alpine
        volumeMounts:
        - name: html-share
          mountPath: /usr/share/nginx/html
      volumes:
      - name: html-share
        persistentVolumeClaim:
          claimName: nfs-shared-pvc
EOF

kubectl rollout status deployment/nfs-web-cluster --timeout=60s

步骤 3:在 lima-master 宿主机修改 NFS 目录文件,验证两个节点的 Pod 实时同步生效! ​

bash
# 在 lima-master 的 /srv/nfs/k8s-share 下写入网页
echo "Shared Content from NFS Server 192.168.104.1!" | sudo tee /srv/nfs/k8s-share/index.html

# 分别请求两个不同节点上的 Pod IP,验证输出完全一致!
for ip in $(kubectl get pods -l app=nfs-web -o jsonpath='{.items[*].status.podIP}'); do
  echo "Requesting Pod $ip:"
  curl -s "http://$ip"
done

6. 实验点 5.5:存储故障排查复盘——D 状态进程检查与 ephemeral-storage 碎文件遍历诊断 ​

原理回顾:在笔记的 AI 数字人视频渲染集群雪崩 案例中,由于容器在临时存储或网络卷中生成了海量碎小文件,导致 Kubelet 定期统计目录大小(du)以及并发渲染吃满 CPU 和 I/O。下面我们在节点上实操这套标准诊断命令:

bash
# 1. 在宿主机排查是否存在阻塞在磁盘/NFS I/O 的不可中断睡眠 (D 状态) 进程
ps aux | awk '$8 ~ /D/ {print $0}'

# 2. 查看 Kubelet 统计每个 Pod 的 ephemeral-storage(临时存储与日志)实时体积指标
kubectl get --raw "/api/v1/nodes/lima-node01/proxy/stats/summary" | grep -A 8 '"ephemeral-storage"' | head -n 25

7. 实验五环境清理 ​

bash
kubectl config set-context --current --namespace=default
kubectl delete namespace lab5-storage
kubectl delete pv nfs-shared-pv --ignore-not-found