Skip to content

A Kubernetes 存储抽象解耦模型 ​

在传统的虚拟机时代,应用往往直接写死挂载的物理磁盘路径或 NFS 挂载 IP,破坏了环境一致性与弹性调度。 Kubernetes 引入了三层存储解耦哲学:

flow
[业务开发人员] -> [编写 PVC 需求声明]: 申请 50Gi,访问模式 RWX
[编写 PVC 需求声明] -> [StorageClass 动态供给引擎]: 匹配存储类别
[StorageClass 动态供给引擎] -> [底层存储插件 Provisioner]: 自动化调配底层存储
[底层存储插件 Provisioner] -> [(底层云盘 / NFS / 本地 SSD)]: 真实创建存储卷
[底层存储插件 Provisioner] -> [生成 PV 实体资源]: 自动与 PVC 建立 Bound 绑定
[业务开发人员] -> [Pod 挂载 PVC]: 业务感知不到具体底层存储 IP
group 业务需求侧 (Namespace 隔离): 编写 PVC 需求声明, Pod 挂载 PVC
group 基础设施供给侧 (集群全局级别): StorageClass 动态供给引擎, 底层存储插件 Provisioner, 生成 PV 实体资源, 底层云盘 / NFS / 本地 SSD
callout
- **PV (PersistentVolume)**:集群全局资源(不属于任何 Namespace),代表具体的底层物理存储实例。
- **PVC (PersistentVolumeClaim)**:命名空间级别资源,代表业务对存储容量、访问速度和访问权限的具体诉求。

B PV 访问模式与生命周期回收策略 ​

1. 四大访问模式 (Access Modes) ​

访问模式代码英文全称行为语义约束典型存储介质支持
RWOReadWriteOnce仅允许单个 Node 节点以读写模式挂载块存储、AWS EBS、阿里云云盘、LocalPV
ROXReadOnlyMany允许多个 Node 节点以只读模式并发挂载NFS、CephFS、公有云只读共享文件系统
RWXReadWriteMany允许多个 Node 节点同时以读写模式并发挂载生产级分布式文件系统(NFS、CephFS、GlusterFS)
RWOPReadWriteOncePodK8s 1.22+ 引入,严格限制只能被集群中的单个 Pod 独占挂载独占性数据库、防脑裂本地磁盘

2. 三大回收策略 (Reclaim Policy) ​

kv
Retain: 保留策略 | 删除 PVC 后,PV 变为 Released 状态,数据完整保留,需管理员手工归档清理后重置
Delete: 级联删除 | 删除 PVC 时,底层真实的云盘或网络存储目录连同数据一并自动抹除(注:HostPath 类型的本地目录不会被自动抹除)
Recycle: 回收利用 | 已弃用,通过 rm -rf 清洗数据并使 PV 重回 Available 状态供复用
callout
1. **Available(可用)**:PV 刚被创建,尚未被任何 PVC 绑定。
2. **Bound(已绑定)**:已被某个满足条件(容量、访问模式、StorageClassName)的 PVC 成功认领绑定。
3. **Released(已释放)**:关联的 PVC 已被删除,但因回收策略为 `Retain`,底层存储数据尚未清理,此时其他新 PVC **无法直接绑定**该 Released 状态的 PV。
4. **Failed(回收失败)**:自动级联删除或清理底层存储卷时发生异常错误。

C 常见存储卷类型与适用场景 ​

tree
Kubernetes 存储卷全景图谱
  EmptyDir | 临时空白目录,Pod 删除后数据清空,适合多容器共享中间产物或 /tmp 缓存
  HostPath | 挂载宿主机目录,Pod 漂移到其他节点后数据丢失,适合节点级守护进程
  LocalPV | 本地持久卷,强绑定 NodeAffinity,兼具本地 SSD 极速 IO 与调度协同能力
  网络存储 NFS / NAS | 共享分布式目录,跨物理机自由挂载,适合静态资源与只读共享
  分布式块存储 Ceph / EBS | 云原生高可用存储基座,适合企业级数据库与核心状态存储

D StorageClass 与动态存储供给 (Dynamic Provisioning) ​

在超大规模集群中,手动提前创建成千上万个 PV 是极其低效的。 StorageClass(存储类) 充当了“PV 制造工厂”,当监听到新 PVC 创建时,全自动调用云平台 API 或本地目录助手创建底层存储并绑定。

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner # 专职动态供给控制器
parameters:
  archiveOnDelete: "false"

E LocalPV 与延迟绑定 (WaitForFirstConsumer) 深度解析 ​

本地高速 NVMe SSD(LocalPV)具备远超网络存储的 IOPS 性能,是数据库与 AI 训练的首选。但它带来了一个经典调度死锁难题:

flow
[用户创建 PVC 申请 100Gi] -> {绑定模式选择?}
{绑定模式选择?} -> [模式 A: 立即绑定 Immediate]: 错误选型
[模式 A: 立即绑定 Immediate] -> [提前绑定在 Node 1 的 PV 上]
[提前绑定在 Node 1 的 PV 上] -> [稍后创建 Pod 申请 32 核 CPU]
[稍后创建 Pod 申请 32 核 CPU] -> (调度失败: Node 1 仅剩 4 核,Pod 永久 Pending): 调度死锁发生
{绑定模式选择?} -> [模式 B: 延迟绑定 WaitForFirstConsumer]: 正确生产选型
[模式 B: 延迟绑定 WaitForFirstConsumer] -> [PVC 保持 Pending 挂起等待 Pod 出现]
[PVC 保持 Pending 挂起等待 Pod 出现] -> [Scheduler 统筹 Pod CPU 与 PV 节点落点]
[Scheduler 统筹 Pod CPU 与 PV 节点落点] -> [选定资源充裕的 Node 2 同步执行绑定]: 成功调度
callout
- **延迟绑定 (`volumeBindingMode: WaitForFirstConsumer`)**:在创建静态 LocalPV(`provisioner: kubernetes.io/no-provisioner` + `nodeAffinity`)时,PVC 在创建时**绝不提前绑定任何 PV**,而是保持 `Pending` 静默等待使用该 PVC 的 Pod 被调度。调度器统筹考量 Pod 的 CPU/内存资源、节点亲和性与各节点 PV 存储位置后,一揽子完成节点选择与 PV 绑定,彻底杜绝调度死锁!
- **Local Path Provisioner 动态本地存储**:为了免去手工在每台机器上创建本地 PV 的繁琐,可部署开源的 `local-path-provisioner`(以 Deployment 运行控制器):
  1. **PVC** 声明存储容量需求,引用 `StorageClass (rancher.io/local-path)`;
  2. **Provisioner** 监听到请求后,在目标调度节点上临时启动一个 **Helper Pod**,自动在宿主机磁盘执行 `mkdir` 创建专属目录,并自动生成带有 `nodeAffinity` 的 PV 与 PVC 完成绑定;
  3. 当 PVC 删除时,Provisioner 再次拉起临时 Helper Pod 自动清理宿主机目录。
- **NFS 静态与动态供给机制**:
  1. **手动静态 NFS PV**:在 PV 的 `spec.nfs` 中显式填写 `server: <NFS_IP>` 与 `path: /data/share`。
  2. **动态 NFS Provisioner**:通过 Helm 部署 `nfs-subdir-external-provisioner`(配置专属 `ServiceAccount` 授权 RBAC + 注册 `StorageClass`),每当有新 PVC 创建时,Provisioner 自动在遠端 NFS 共享根目录下创建 `<namespace>-<pvcName>-<pvName>` 独立子目录并自动生成 PV 绑定!

← 返回 Kubernetes 知识库总索引