Skip to content

Kubernetes 进阶实操实验总览与导航手册(基于 Mac mini M4 + Lima 三节点集群) ​

你已经完成了实验零(使用 Lima + kubeadm 部署标准 Kubernetes 三节点集群)。基于你的笔记、19 篇 HTML 知识库体系、Prometheus 监控专项与 EFK/ELK/Loki 日志材料,我将后续所有需要动手验证的核心原理、排障链路与生产架构,系统化设计为 10 个大而完整的综合实验(共包含 64 个细化实操实验点)。

所有实验文档中的节点名(lima-master / lima-node01 / lima-node02)、IP 地址(192.168.104.1 / .3 / .4)、Pod CIDR(10.244.0.0/16)、系统软件源(Rocky Linux 9 ARM64 dnf)与运行时(containerd 2.x + Cgroup v2)均已完全适配你的实际环境,可直接复制命令执行。

资源规划提示:两台 2.5GB Worker 节点总可用内存有限;实验七(传统 Prometheus)、实验八(Prometheus Operator)、实验九(EFK/ELK + Kafka + Logstash)、实验十(Loki 轻量日志) 均属于可观测性重型栈,请按顺序每次只运行一个实验并在结束后执行文档末尾清理,切勿同时常驻!


实验文档索引 ​

实验编号大实验名称对应知识模块实验操作文档路径
实验一容器运行时解剖与 Pod 全生命周期深度实操架构、Static Pod、Containerd、Pod 探针/Hooks/QoS/PID 反查lab1-pod-and-runtime.md
实验二核心工作负载编排、有状态服务与 HPA 弹性伸缩实战Deployment、DaemonSet、StatefulSet、Headless、Job/CronJob、HPAlab2-controllers-and-hpa.md
实验三高级调度策略、拓扑均衡、优先级抢占与容灾驱逐实战亲和/反亲和、污点容忍、Even Pod Spreading、PDB、抢占、Deschedulerlab3-scheduling-and-eviction.md
实验四CNI 跨节点通信抓包、Service/Ingress 网关与 CoreDNS 调优Flannel VXLAN 三表与抓包、IPVS、Service、Ingress TLS/金丝雀、DNSlab4-networking-ingress-dns.md
实验五持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战PV/PVC、LocalPV 延迟绑定、Local-Path 动态供给、NFS 共享、IO 排障lab5-storage-and-troubleshooting.md
实验六配置热更新、RBAC 证书授权、Helm 模板工程与 Webhook/升级实战ConfigMap/Secret、RBAC 证书、SecurityContext、Helm、CRD/Webhook、etcdlab6-security-helm-ext-ops.md
实验七传统方式 Prometheus 监控全栈与自定义采集告警实战Server/RBAC/热重载、Exporter、SD/relabel、Pushgateway、PromQL、Grafana、Alertmanagerlab7-prometheus-traditional.md
实验八Prometheus Operator (kube-prometheus) 云原生自动化监控与告警避坑实战Operator CR、etcd 三步接入、PodMonitor、3070 大盘、PrometheusRule、AlertmanagerConfig 排障lab8-prometheus-operator.md
实验九EFK / ELK 企业级日志平台全栈实战CRI 路径/Sidecar、ES TLS 证书与角色拆分、Kibana、Fluentd/Filebeat、Kafka 削峰、Logstash 动态索引lab9-efk-elk-logging.md
实验十轻量级云原生日志栈 PLG(Promtail + Loki + Grafana)实战与对比SingleBinary Loki、Promtail CRI、LogQL 指标转换、EFK vs Loki 资源架构选型对比lab10-loki-logging.md

10 大综合实验与 64 个实操点全景清单 ​

实验一:容器运行时解剖与 Pod 全生命周期深度实操 (lab1-pod-and-runtime.md) ​

  • 实验点 1.1:Static Pod 控制面自恢复与 Mirror Pod 机制验证(crictl stop 停 kube-scheduler 观察秒级重建 vs kubectl delete pod 删影子 Pod vs 移出 /etc/kubernetes/manifests/ 彻底停止)
  • 实验点 1.2:Containerd 双工具链对比(crictl ps/pods vs ctr -n k8s.io c ls / t ls)与 nsenter -t <PID> -n 从宿主机直接穿透无 Shell 容器抓包排障
  • 实验点 1.3:解剖 Pod 内部——验证 pause 容器共享网络(localhost 互通)、initContainers 串行初始化、以及 Sidecar 容器通过 emptyDir 实时采集 Nginx 访问日志
  • 实验点 1.4:三大健康检查探针(startupProbe / readinessProbe / livenessProbe)联动——破坏 readiness 观察从 EndpointSlice 自动摘流而不重启,破坏 liveness 观察容器自动重启自愈
  • 实验点 1.5:Lifecycle Hooks(postStart 与 preStop)——删除 Pod 时实时观察 preStop 同步阻塞排水与 SIGTERM 优雅停机日志
  • 实验点 1.6:资源配额(requests / limits)、三大 QoS 等级(Guaranteed / Burstable / BestEffort)判定、宿主机 /sys/fs/cgroup/ 真实 memory.max / cpu.max 核对与容器内存超限 OOMKilled (Exit Code 137) 复现
  • 实验点 1.7:Downward API(环境变量 + Volume 注入 Pod 元数据与配额)+ SRE 实战:从 lima-node01 宿主机 ps 发现异常高 CPU 进程 PID,顺藤摸瓜反查出 Container ID 与 Pod Name

实验二:核心工作负载编排、有状态服务与 HPA 弹性伸缩实战 (lab2-controllers-and-hpa.md) ​

  • 实验点 2.1:Deployment 声明式编排、4 种扩缩容手段(scale/patch/edit/apply)、RollingUpdate(maxSurge/maxUnavailable)新旧 ReplicaSet 哈希关联与 kubectl rollout undo 闪电回滚
  • 实验点 2.2:DaemonSet 节点级守护进程编排(配合 Master 污点容忍实现在 lima-master、lima-node01、lima-node02 三台机器各跑 1 个实例)
  • 实验点 2.3:StatefulSet + Headless Service (clusterIP: None) 实战——验证 0..N-1 严格有序启动、对比普通 Service 与无头 Service 的 nslookup 解析差异、以及 Pod 删除重建后 IP 改变但专属 FQDN 域名恒定可达
  • 实验点 2.4:Job 一次性并行批处理(completions: 4 + parallelism: 2 + backoffLimit + ttlSecondsAfterFinished)与 CronJob 周期并发控制(concurrencyPolicy: Forbid)
  • 实验点 2.5:在集群中部署 Metrics Server(注入 --kubelet-insecure-tls 解锁 kubectl top)+ 在容器内压测拉高 CPU,实测 HPA 自动从 1 副本扩容至多副本及冷却缩容全过程

实验三:高级调度策略、拓扑均衡、优先级抢占与容灾驱逐实战 (lab3-scheduling-and-eviction.md) ​

  • 实验点 3.1:为 lima-node01 和 lima-node02 打上模拟可用区(zone-a / zone-b)与磁盘标签,验证 nodeSelector 与 NodeAffinity(硬亲和 required vs 软亲和 preferred 权重打分)
  • 实验点 3.2:PodAffinity(同节点聚集部署)与 PodAntiAffinity(跨节点硬反亲和打散容灾)
  • 实验点 3.3:节点污点三等级(NoSchedule vs PreferNoSchedule vs NoExecute)与 Pod Tolerations(实测 NoExecute 配合 tolerationSeconds: 10 倒计时 10 秒精准驱逐)
  • 实验点 3.4:Even Pod Spreading(topologySpreadConstraints + maxSkew: 1)实现 4 个副本在两个可用区严格呈 2 : 2 均匀分布
  • 实验点 3.5:PriorityClass 高优先级抢占(Preemption)实验——先用低优先级 Pod 占满两台 Worker 的 2 vCPU 账面额度,再提交高优先级 Pod 亲眼观察低优先级 Pod 被踢走腾位
  • 实验点 3.6:配置 PDB (PodDisruptionBudget) 保护关键服务,实测执行 kubectl drain lima-node02 时被 API Server 当场拦截以防止服务全灭
  • 实验点 3.7:节点维护导致 Pod 全部堆叠在 lima-node01,节点恢复后运行 Descheduler 重平衡器(RemoveDuplicates 策略),一键将 Pod 重新均摊回 2 : 2

实验四:CNI 跨节点通信抓包、Service/Ingress 网关与 CoreDNS 调优 (lab4-networking-ingress-dns.md) ​

  • 实验点 4.1:Flannel VXLAN 跨节点通信底层核查——通过容器 /sys/class/net/eth0/iflink 找出宿主机 veth 对,核查 lima-node01 上的路由表 (ip route) + 静态 ARP 表 (ip neigh show dev flannel.1) + 转发表 (bridge fdb show dev flannel.1)
  • 实验点 4.2:在 lima-node01 的 eth0 上使用 tcpdump -i eth0 -nn udp port 8472 抓包,亲眼观察外层 Node IP (192.168.104.3 -> 192.168.104.4, VNI=1) 与内层 Pod IP (10.244.1.x -> 10.244.2.y) 的双层报文结构
  • 实验点 4.3:Service 四大类型实战——对比 NodePort 下 externalTrafficPolicy: Local 100% 保留客户端真实源 IP,以及使用无 Selector 的 Service + 手动同名 Endpoints 透明代理集群外服务
  • 实验点 4.4:在节点安装 ipvsadm,将 kube-proxy 从 iptables 切换为高性能 ipvs 模式,并使用 sudo ipvsadm -Ln 查看内核哈希转发规则
  • 实验点 4.5:以高性能 hostNetwork: true + dnsPolicy: ClusterFirstWithHostNet 模式在 lima-node01 部署七层网关,验证微服务七层路由转发
  • 实验点 4.6:使用 OpenSSL 签发证书创建 kubernetes.io/tls Secret 构建 HTTPS 加密站点,并实测 80/20 权重金丝雀分流 (canary-weight) 与 X-Canary: always 请求头精准灰度 (canary-by-header)
  • 实验点 4.7:为裸 Pod 配置 hostname + subdomain 配合 Headless Service 获得固定 FQDN 域名,并核查容器内 /etc/resolv.conf 的 ndots:5 搜索域机制

实验五:持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战 (lab5-storage-and-troubleshooting.md) ​

  • 实验点 5.1:静态 PV/PVC 绑定与 Retain 回收策略下 PV 状态从 Available -> Bound -> Released 的完整生命周期验证
  • 实验点 5.2:静态 LocalPV(带 nodeAffinity)+ volumeBindingMode: WaitForFirstConsumer 延迟绑定实战——验证 PVC 创建后保持 Pending 不盲目绑定,直到 Pod 创建时由 Scheduler 统筹绑定到 lima-node02
  • 实验点 5.3:部署 Rancher local-path-provisioner 动态存储控制器,结合 StatefulSet 的 volumeClaimTemplates 实现每个 Pod 自动通过 Helper Pod 创建独立本地目录与 PV,并验证删 Pod 重建后数据零丢失
  • 实验点 5.4:在 lima-master (192.168.104.1) 搭建真实 NFS Server,lima-node01 和 lima-node02 挂载 ReadWriteMany (RWX) NFS 共享卷,实现跨节点多副本网页实时同步
  • 实验点 5.5:生产存储排障复盘演练——宿主机不可中断睡眠 D 状态进程排查命令与 Kubelet /stats/summary 的 ephemeral-storage(底层 du 统计)实时指标观测

实验六:配置热更新、RBAC 证书授权、Helm 模板工程与 Webhook/升级实战 (lab6-security-helm-ext-ops.md) ​

  • 实验点 6.1:ConfigMap 多行控制符(| vs |-)与 Volume 挂载下的 ..data 符号链接原子热更新验证
  • 实验点 6.2:使用 OpenSSL 与集群 CA (/etc/kubernetes/pki/ca.crt) 为新员工 dev-alice 签发 X.509 客户端证书、注册 kubeconfig Context,并通过 Role + RoleBinding 实测 get/list 放行与 delete/跨命名空间 403 Forbidden 拦截
  • 实验点 6.3:SecurityContext 容器安全加固——配置 allowPrivilegeEscalation: false + capabilities.drop: ["ALL"] + add: ["NET_ADMIN"],验证容器可配置网卡但无权修改系统时钟
  • 实验点 6.4:在 lima-master 安装 Helm 3,从零手写一个包含 _helpers.tpl、include、nindent、with、range、.Files.Get 的完整 Chart 包,实操 helm template、install、upgrade --set 与 rollback
  • 实验点 6.5:编写 CustomResourceDefinition (CRD) 在 etcd 中新建一张 RedisCluster (rc-db) 资源表并插入 CR 记录
  • 实验点 6.6:用 Python 3 标准库在 lima-master 上启动一个真实的 HTTPS Mutating Admission Webhook,注册 MutatingWebhookConfiguration,亲眼见证新建 Pod 被自动注入 environment: production 标签!
  • 实验点 6.7:使用 etcdctl 直接探测 /registry 底层键值、执行 snapshot save 备份 /var/lib/etcd/ 一致性快照,并串联 cordon -> drain -> uncordon 节点无损升级维护 SOP

实验七:传统方式 Prometheus 监控全栈与自定义采集告警实战 (lab7-prometheus-traditional.md) ​

  • 实验点 7.1:手动部署单节点 Prometheus Server(RBAC 权限 + ConfigMap 配置 + --web.enable-lifecycle 动态 /-/reload 热更新)
  • 实验点 7.2:部署 node_exporter DaemonSet(宿主机 /proc//sys// 只读挂载),并通过 kubernetes_sd_configs (role: node) + relabel_configs 自动发现三节点宿主机指标
  • 实验点 7.3:打通控制面(修改 etcd/kube-scheduler/kube-controller-manager Static Pod 绑定与无 Selector Service)、cAdvisor 与 kube-state-metrics 状态指标
  • 实验点 7.4:业务应用侵入式与无侵入接入双实战——Nginx + nginx-prometheus-exporter Sidecar(基于 prometheus.io/scrape 注解自动发现)+ Pushgateway + 短周期 Job 推送验证
  • 实验点 7.5:PromQL 四大指标类型(Counter / Gauge / Histogram / Summary)与高频运维公式(节点 CPU/内存使用率、Pod 内存率、histogram_quantile(0.95, ...) P95 延迟、absent() 缺失探测)实时 API/UI 验证
  • 实验点 7.6:部署 Grafana 并接入 Prometheus 数据源,导入社区 Dashboard(如 1860 / 315 / 16098)出图验证
  • 实验点 7.7:手动部署 Alertmanager + 本地 Python Webhook Receiver,配置 group_by / inhibit_rules 与 Prometheus 告警规则,实操 Pending -> Firing -> Webhook 与 UI Silence 静默

实验八:Prometheus Operator (kube-prometheus) 云原生自动化监控与告警避坑实战 (lab8-prometheus-operator.md) ​

  • 实验点 8.1:在 Lima 三节点(ARM64 + 8GB 总内存)上部署 Prometheus Operator (kube-prometheus),调优副本数(replicas: 1)与 Prometheus 内存请求防 Pending/OOM,并改为 NodePort 暴露
  • 实验点 8.2:解剖 Operator 黑盒机制——核查 Prometheus CR 选择器(serviceMonitorSelector/ruleSelector)、进入 prometheus-k8s-0 验证自动生成的 /etc/prometheus/config_out/prometheus.env.yaml 与 /etc/prometheus/rules/prometheus-k8s-rulefiles-0/
  • 实验点 8.3:自定义监控实战一(集群外/静态组件模式,对应 PDF 第三章)——三步法接入 etcd:暴露 0.0.0.0:2381 → 无 Selector Service + 手动 Endpoints → ServiceMonitor 验证 Targets UP
  • 实验点 8.4:自定义监控实战二(集群内业务 Pod 模式)——创建 Nginx Sidecar Exporter 并使用 PodMonitor 实现无 Service 自动采集发现
  • 实验点 8.5:在 Grafana 导入 3070 etcd 监控大盘出图验证(DB Size、Disk Sync Duration、Memory 等)
  • 实验点 8.6:创建 PrometheusRule 自定义告警规则——设置触发条件(Firing)并避开自带规则 severity: critical 路由冲突吞没坑(使用独特标签 mywarn: k8s-critical)
  • 实验点 8.7:打通 Alertmanager 通知双方案与 PDF 核心排障——本地 Webhook(附钉钉接入模板)+ 方式一(直接更新 alertmanager-main Secret,严禁根路由 continue: true) + 方式二(AlertmanagerConfig CRD + alertmanagerConfigSelector 与隐式 namespace AND 匹配坑排查) + 解压 alertmanager-main-generated gzip Secret 核对编译配置

实验九:EFK / ELK 企业级日志平台全栈实战 (lab9-efk-elk-logging.md) ​

  • 实验点 9.1:底层日志路径解剖与 Sidecar emptyDir 转标准输出实战——对比 stdout Pod、私密写文件 Pod、Sidecar Pod 与 Worker 宿主机 /var/log/containers 软链接及 containerd CRI 格式
  • 实验点 9.2:动态 StorageClass(NFS / local-path)准备与 elasticsearch-certutil 手工签发统一 CA 与 .p12 TLS 证书
  • 实验点 9.3:Helm 部署角色分离三节点 Elasticsearch 8 集群——为 Master / Data / Client 编写三套独立轻量 values.yaml 并核验 _cat/nodes
  • 实验点 9.4:Helm 部署 Kibana 8,配置 kibana_system 内部账号、CA 证书与 NodePort 登录验证
  • 实验点 9.5:DaemonSet + hostPath 部署 Fluentd 直连 ES——配置 cri 解析器、kubernetes_metadata 元数据、exclude_path 防自采风暴、字段脱敏裁剪与文件磁盘 <buffer> 重试,并在 Kibana Data Views 观测日志
  • 实验点 9.6:ELK 架构对照实战——短时部署 Filebeat 8.5(filestream + container 解析器 + add_kubernetes_metadata),对比 Fluentd 与 Filebeat 内存及字段模型
  • 实验点 9.7:Helm 部署 KRaft Kafka 验证 k8s-logs Topic 收发,并实战 Fluentd fluent-plugin-kafka 改造(含 Dockerfile + podman 构建注入 containerd 方案与官方 kafka2 ARM64 镜像方案)
  • 实验点 9.8:Helm 部署 Logstash 8.5 消费 Kafka 写入 ES(关 data_stream、启用 TLS CA),按业务 Pod 标签 logIndex 动态写入 k8s-<logIndex>-YYYY.MM.dd 独立索引并在 Kibana 分业务查看

实验十:轻量级云原生日志栈 PLG(Promtail + Loki + Grafana)实战与对比 (lab10-loki-logging.md) ​

  • 实验点 10.1:使用现代 grafana/loki Chart 以 SingleBinary 模式轻量部署 Loki(关闭 MinIO 与 Memcached Caches)
  • 实验点 10.2:Helm 部署 Promtail DaemonSet(cri Stage 解析 containerd 日志与低基数 Label 提取规范)
  • 实验点 10.3:Helm 部署 Grafana 并自动注入 Loki 数据源,实战 LogQL 标签过滤、JSON 解析与 rate() 日志转指标计算
  • 实验点 10.4:SRE 实测与架构选型复盘——在同一 Lima 集群对比 EFK/ELK 与 Loki 的内存开销、索引结构与选型场景