主题
Kubernetes 进阶实操实验总览与导航手册(基于 Mac mini M4 + Lima 三节点集群)
你已经完成了实验零(使用 Lima + kubeadm 部署标准 Kubernetes 三节点集群)。基于你的笔记、19 篇 HTML 知识库体系、Prometheus 监控专项与 EFK/ELK/Loki 日志材料,我将后续所有需要动手验证的核心原理、排障链路与生产架构,系统化设计为 10 个大而完整的综合实验(共包含 64 个细化实操实验点)。
所有实验文档中的节点名(lima-master / lima-node01 / lima-node02)、IP 地址(192.168.104.1 / .3 / .4)、Pod CIDR(10.244.0.0/16)、系统软件源(Rocky Linux 9 ARM64 dnf)与运行时(containerd 2.x + Cgroup v2)均已完全适配你的实际环境,可直接复制命令执行。
资源规划提示:两台 2.5GB Worker 节点总可用内存有限;实验七(传统 Prometheus)、实验八(Prometheus Operator)、实验九(EFK/ELK + Kafka + Logstash)、实验十(Loki 轻量日志) 均属于可观测性重型栈,请按顺序每次只运行一个实验并在结束后执行文档末尾清理,切勿同时常驻!
实验文档索引
| 实验编号 | 大实验名称 | 对应知识模块 | 实验操作文档路径 |
|---|---|---|---|
| 实验一 | 容器运行时解剖与 Pod 全生命周期深度实操 | 架构、Static Pod、Containerd、Pod 探针/Hooks/QoS/PID 反查 | lab1-pod-and-runtime.md |
| 实验二 | 核心工作负载编排、有状态服务与 HPA 弹性伸缩实战 | Deployment、DaemonSet、StatefulSet、Headless、Job/CronJob、HPA | lab2-controllers-and-hpa.md |
| 实验三 | 高级调度策略、拓扑均衡、优先级抢占与容灾驱逐实战 | 亲和/反亲和、污点容忍、Even Pod Spreading、PDB、抢占、Descheduler | lab3-scheduling-and-eviction.md |
| 实验四 | CNI 跨节点通信抓包、Service/Ingress 网关与 CoreDNS 调优 | Flannel VXLAN 三表与抓包、IPVS、Service、Ingress TLS/金丝雀、DNS | lab4-networking-ingress-dns.md |
| 实验五 | 持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战 | PV/PVC、LocalPV 延迟绑定、Local-Path 动态供给、NFS 共享、IO 排障 | lab5-storage-and-troubleshooting.md |
| 实验六 | 配置热更新、RBAC 证书授权、Helm 模板工程与 Webhook/升级实战 | ConfigMap/Secret、RBAC 证书、SecurityContext、Helm、CRD/Webhook、etcd | lab6-security-helm-ext-ops.md |
| 实验七 | 传统方式 Prometheus 监控全栈与自定义采集告警实战 | Server/RBAC/热重载、Exporter、SD/relabel、Pushgateway、PromQL、Grafana、Alertmanager | lab7-prometheus-traditional.md |
| 实验八 | Prometheus Operator (kube-prometheus) 云原生自动化监控与告警避坑实战 | Operator CR、etcd 三步接入、PodMonitor、3070 大盘、PrometheusRule、AlertmanagerConfig 排障 | lab8-prometheus-operator.md |
| 实验九 | EFK / ELK 企业级日志平台全栈实战 | CRI 路径/Sidecar、ES TLS 证书与角色拆分、Kibana、Fluentd/Filebeat、Kafka 削峰、Logstash 动态索引 | lab9-efk-elk-logging.md |
| 实验十 | 轻量级云原生日志栈 PLG(Promtail + Loki + Grafana)实战与对比 | SingleBinary Loki、Promtail CRI、LogQL 指标转换、EFK vs Loki 资源架构选型对比 | lab10-loki-logging.md |
10 大综合实验与 64 个实操点全景清单
实验一:容器运行时解剖与 Pod 全生命周期深度实操 (lab1-pod-and-runtime.md)
- 实验点 1.1:Static Pod 控制面自恢复与 Mirror Pod 机制验证(
crictl stop停kube-scheduler观察秒级重建 vskubectl delete pod删影子 Pod vs 移出/etc/kubernetes/manifests/彻底停止) - 实验点 1.2:Containerd 双工具链对比(
crictl ps/podsvsctr -n k8s.io c ls / t ls)与nsenter -t <PID> -n从宿主机直接穿透无 Shell 容器抓包排障 - 实验点 1.3:解剖 Pod 内部——验证
pause容器共享网络(localhost互通)、initContainers串行初始化、以及Sidecar容器通过emptyDir实时采集 Nginx 访问日志 - 实验点 1.4:三大健康检查探针(
startupProbe/readinessProbe/livenessProbe)联动——破坏readiness观察从EndpointSlice自动摘流而不重启,破坏liveness观察容器自动重启自愈 - 实验点 1.5:Lifecycle Hooks(
postStart与preStop)——删除 Pod 时实时观察preStop同步阻塞排水与SIGTERM优雅停机日志 - 实验点 1.6:资源配额(
requests/limits)、三大 QoS 等级(Guaranteed/Burstable/BestEffort)判定、宿主机/sys/fs/cgroup/真实memory.max/cpu.max核对与容器内存超限OOMKilled (Exit Code 137)复现 - 实验点 1.7:Downward API(环境变量 + Volume 注入 Pod 元数据与配额)+ SRE 实战:从
lima-node01宿主机ps发现异常高 CPU 进程PID,顺藤摸瓜反查出Container ID与Pod Name
实验二:核心工作负载编排、有状态服务与 HPA 弹性伸缩实战 (lab2-controllers-and-hpa.md)
- 实验点 2.1:Deployment 声明式编排、4 种扩缩容手段(
scale/patch/edit/apply)、RollingUpdate(maxSurge/maxUnavailable)新旧 ReplicaSet 哈希关联与kubectl rollout undo闪电回滚 - 实验点 2.2:DaemonSet 节点级守护进程编排(配合 Master 污点容忍实现在
lima-master、lima-node01、lima-node02三台机器各跑 1 个实例) - 实验点 2.3:StatefulSet + Headless Service (
clusterIP: None) 实战——验证0..N-1严格有序启动、对比普通 Service 与无头 Service 的nslookup解析差异、以及 Pod 删除重建后 IP 改变但专属 FQDN 域名恒定可达 - 实验点 2.4:Job 一次性并行批处理(
completions: 4+parallelism: 2+backoffLimit+ttlSecondsAfterFinished)与 CronJob 周期并发控制(concurrencyPolicy: Forbid) - 实验点 2.5:在集群中部署
Metrics Server(注入--kubelet-insecure-tls解锁kubectl top)+ 在容器内压测拉高 CPU,实测 HPA 自动从 1 副本扩容至多副本及冷却缩容全过程
实验三:高级调度策略、拓扑均衡、优先级抢占与容灾驱逐实战 (lab3-scheduling-and-eviction.md)
- 实验点 3.1:为
lima-node01和lima-node02打上模拟可用区(zone-a/zone-b)与磁盘标签,验证nodeSelector与NodeAffinity(硬亲和requiredvs 软亲和preferred权重打分) - 实验点 3.2:
PodAffinity(同节点聚集部署)与PodAntiAffinity(跨节点硬反亲和打散容灾) - 实验点 3.3:节点污点三等级(
NoSchedulevsPreferNoSchedulevsNoExecute)与 PodTolerations(实测NoExecute配合tolerationSeconds: 10倒计时 10 秒精准驱逐) - 实验点 3.4:Even Pod Spreading(
topologySpreadConstraints+maxSkew: 1)实现 4 个副本在两个可用区严格呈2 : 2均匀分布 - 实验点 3.5:
PriorityClass高优先级抢占(Preemption)实验——先用低优先级 Pod 占满两台 Worker 的2 vCPU账面额度,再提交高优先级 Pod 亲眼观察低优先级 Pod 被踢走腾位 - 实验点 3.6:配置
PDB (PodDisruptionBudget)保护关键服务,实测执行kubectl drain lima-node02时被 API Server 当场拦截以防止服务全灭 - 实验点 3.7:节点维护导致 Pod 全部堆叠在
lima-node01,节点恢复后运行 Descheduler 重平衡器(RemoveDuplicates策略),一键将 Pod 重新均摊回2 : 2
实验四:CNI 跨节点通信抓包、Service/Ingress 网关与 CoreDNS 调优 (lab4-networking-ingress-dns.md)
- 实验点 4.1:Flannel VXLAN 跨节点通信底层核查——通过容器
/sys/class/net/eth0/iflink找出宿主机veth对,核查lima-node01上的路由表 (ip route) + 静态 ARP 表 (ip neigh show dev flannel.1) + 转发表 (bridge fdb show dev flannel.1) - 实验点 4.2:在
lima-node01的eth0上使用tcpdump -i eth0 -nn udp port 8472抓包,亲眼观察外层 Node IP (192.168.104.3 -> 192.168.104.4,VNI=1) 与内层 Pod IP (10.244.1.x -> 10.244.2.y) 的双层报文结构 - 实验点 4.3:Service 四大类型实战——对比 NodePort 下
externalTrafficPolicy: Local100% 保留客户端真实源 IP,以及使用无 Selector 的 Service + 手动同名Endpoints透明代理集群外服务 - 实验点 4.4:在节点安装
ipvsadm,将kube-proxy从iptables切换为高性能ipvs模式,并使用sudo ipvsadm -Ln查看内核哈希转发规则 - 实验点 4.5:以高性能
hostNetwork: true+dnsPolicy: ClusterFirstWithHostNet模式在lima-node01部署七层网关,验证微服务七层路由转发 - 实验点 4.6:使用 OpenSSL 签发证书创建
kubernetes.io/tlsSecret 构建 HTTPS 加密站点,并实测 80/20 权重金丝雀分流 (canary-weight) 与X-Canary: always请求头精准灰度 (canary-by-header) - 实验点 4.7:为裸 Pod 配置
hostname+subdomain配合 Headless Service 获得固定 FQDN 域名,并核查容器内/etc/resolv.conf的ndots:5搜索域机制
实验五:持久化存储体系(LocalPV / NFS 动态供给)与存储排障实战 (lab5-storage-and-troubleshooting.md)
- 实验点 5.1:静态 PV/PVC 绑定与
Retain回收策略下 PV 状态从Available -> Bound -> Released的完整生命周期验证 - 实验点 5.2:静态
LocalPV(带nodeAffinity)+volumeBindingMode: WaitForFirstConsumer延迟绑定实战——验证 PVC 创建后保持Pending不盲目绑定,直到 Pod 创建时由 Scheduler 统筹绑定到lima-node02 - 实验点 5.3:部署 Rancher
local-path-provisioner动态存储控制器,结合StatefulSet的volumeClaimTemplates实现每个 Pod 自动通过 Helper Pod 创建独立本地目录与 PV,并验证删 Pod 重建后数据零丢失 - 实验点 5.4:在
lima-master(192.168.104.1) 搭建真实 NFS Server,lima-node01和lima-node02挂载ReadWriteMany (RWX)NFS 共享卷,实现跨节点多副本网页实时同步 - 实验点 5.5:生产存储排障复盘演练——宿主机不可中断睡眠
D状态进程排查命令与 Kubelet/stats/summary的ephemeral-storage(底层du统计)实时指标观测
实验六:配置热更新、RBAC 证书授权、Helm 模板工程与 Webhook/升级实战 (lab6-security-helm-ext-ops.md)
- 实验点 6.1:ConfigMap 多行控制符(
|vs|-)与 Volume 挂载下的..data符号链接原子热更新验证 - 实验点 6.2:使用 OpenSSL 与集群 CA (
/etc/kubernetes/pki/ca.crt) 为新员工dev-alice签发 X.509 客户端证书、注册kubeconfigContext,并通过Role + RoleBinding实测get/list放行与delete/跨命名空间403 Forbidden拦截 - 实验点 6.3:
SecurityContext容器安全加固——配置allowPrivilegeEscalation: false+capabilities.drop: ["ALL"]+add: ["NET_ADMIN"],验证容器可配置网卡但无权修改系统时钟 - 实验点 6.4:在
lima-master安装 Helm 3,从零手写一个包含_helpers.tpl、include、nindent、with、range、.Files.Get的完整 Chart 包,实操helm template、install、upgrade --set与rollback - 实验点 6.5:编写
CustomResourceDefinition (CRD)在 etcd 中新建一张RedisCluster (rc-db)资源表并插入CR记录 - 实验点 6.6:用 Python 3 标准库在
lima-master上启动一个真实的 HTTPS Mutating Admission Webhook,注册MutatingWebhookConfiguration,亲眼见证新建 Pod 被自动注入environment: production标签! - 实验点 6.7:使用
etcdctl直接探测/registry底层键值、执行snapshot save备份/var/lib/etcd/一致性快照,并串联cordon -> drain -> uncordon节点无损升级维护 SOP
实验七:传统方式 Prometheus 监控全栈与自定义采集告警实战 (lab7-prometheus-traditional.md)
- 实验点 7.1:手动部署单节点 Prometheus Server(RBAC 权限 +
ConfigMap配置 +--web.enable-lifecycle动态/-/reload热更新) - 实验点 7.2:部署
node_exporterDaemonSet(宿主机/proc//sys//只读挂载),并通过kubernetes_sd_configs (role: node)+relabel_configs自动发现三节点宿主机指标 - 实验点 7.3:打通控制面(修改
etcd/kube-scheduler/kube-controller-managerStatic Pod 绑定与无 SelectorService)、cAdvisor与kube-state-metrics状态指标 - 实验点 7.4:业务应用侵入式与无侵入接入双实战——Nginx +
nginx-prometheus-exporterSidecar(基于prometheus.io/scrape注解自动发现)+Pushgateway+ 短周期Job推送验证 - 实验点 7.5:PromQL 四大指标类型(
Counter/Gauge/Histogram/Summary)与高频运维公式(节点 CPU/内存使用率、Pod 内存率、histogram_quantile(0.95, ...)P95 延迟、absent()缺失探测)实时 API/UI 验证 - 实验点 7.6:部署 Grafana 并接入 Prometheus 数据源,导入社区 Dashboard(如
1860/315/16098)出图验证 - 实验点 7.7:手动部署 Alertmanager + 本地 Python Webhook Receiver,配置
group_by/inhibit_rules与Prometheus告警规则,实操Pending -> Firing -> Webhook与 UI Silence 静默
实验八:Prometheus Operator (kube-prometheus) 云原生自动化监控与告警避坑实战 (lab8-prometheus-operator.md)
- 实验点 8.1:在 Lima 三节点(ARM64 + 8GB 总内存)上部署 Prometheus Operator (
kube-prometheus),调优副本数(replicas: 1)与 Prometheus 内存请求防Pending/OOM,并改为 NodePort 暴露 - 实验点 8.2:解剖 Operator 黑盒机制——核查
PrometheusCR 选择器(serviceMonitorSelector/ruleSelector)、进入prometheus-k8s-0验证自动生成的/etc/prometheus/config_out/prometheus.env.yaml与/etc/prometheus/rules/prometheus-k8s-rulefiles-0/ - 实验点 8.3:自定义监控实战一(集群外/静态组件模式,对应 PDF 第三章)——三步法接入
etcd:暴露0.0.0.0:2381无 Selector Service+ 手动EndpointsServiceMonitor验证Targets UP - 实验点 8.4:自定义监控实战二(集群内业务 Pod 模式)——创建 Nginx Sidecar Exporter 并使用
PodMonitor实现无Service自动采集发现 - 实验点 8.5:在 Grafana 导入
3070etcd监控大盘出图验证(DB Size、Disk Sync Duration、Memory 等) - 实验点 8.6:创建
PrometheusRule自定义告警规则——设置触发条件(Firing)并避开自带规则severity: critical路由冲突吞没坑(使用独特标签mywarn: k8s-critical) - 实验点 8.7:打通 Alertmanager 通知双方案与 PDF 核心排障——本地 Webhook(附钉钉接入模板)+ 方式一(直接更新
alertmanager-mainSecret,严禁根路由continue: true) + 方式二(AlertmanagerConfigCRD +alertmanagerConfigSelector与隐式namespaceAND 匹配坑排查) + 解压alertmanager-main-generatedgzip Secret 核对编译配置
实验九:EFK / ELK 企业级日志平台全栈实战 (lab9-efk-elk-logging.md)
- 实验点 9.1:底层日志路径解剖与
Sidecar emptyDir转标准输出实战——对比stdoutPod、私密写文件 Pod、SidecarPod 与 Worker 宿主机/var/log/containers软链接及 containerd CRI 格式 - 实验点 9.2:动态
StorageClass(NFS /local-path)准备与elasticsearch-certutil手工签发统一 CA 与.p12TLS 证书 - 实验点 9.3:Helm 部署角色分离三节点 Elasticsearch 8 集群——为
Master/Data/Client编写三套独立轻量values.yaml并核验_cat/nodes - 实验点 9.4:Helm 部署 Kibana 8,配置
kibana_system内部账号、CA 证书与 NodePort 登录验证 - 实验点 9.5:DaemonSet +
hostPath部署 Fluentd 直连 ES——配置cri解析器、kubernetes_metadata元数据、exclude_path防自采风暴、字段脱敏裁剪与文件磁盘<buffer>重试,并在 Kibana Data Views 观测日志 - 实验点 9.6:ELK 架构对照实战——短时部署
Filebeat 8.5(filestream+container解析器 +add_kubernetes_metadata),对比 Fluentd 与 Filebeat 内存及字段模型 - 实验点 9.7:Helm 部署 KRaft Kafka 验证
k8s-logsTopic 收发,并实战 Fluentdfluent-plugin-kafka改造(含Dockerfile+podman构建注入 containerd 方案与官方kafka2ARM64 镜像方案) - 实验点 9.8:Helm 部署 Logstash 8.5 消费 Kafka 写入 ES(关
data_stream、启用 TLS CA),按业务 Pod 标签logIndex动态写入k8s-<logIndex>-YYYY.MM.dd独立索引并在 Kibana 分业务查看
实验十:轻量级云原生日志栈 PLG(Promtail + Loki + Grafana)实战与对比 (lab10-loki-logging.md)
- 实验点 10.1:使用现代
grafana/lokiChart 以SingleBinary模式轻量部署 Loki(关闭 MinIO 与 Memcached Caches) - 实验点 10.2:Helm 部署
PromtailDaemonSet(criStage 解析 containerd 日志与低基数 Label 提取规范) - 实验点 10.3:Helm 部署 Grafana 并自动注入 Loki 数据源,实战 LogQL 标签过滤、JSON 解析与
rate()日志转指标计算 - 实验点 10.4:SRE 实测与架构选型复盘——在同一 Lima 集群对比 EFK/ELK 与 Loki 的内存开销、索引结构与选型场景