Skip to content

实验二:核心工作负载编排、有状态服务与 HPA 弹性伸缩实战 ​

0. 实验目标与环境基线 ​

本实验在你的 Mac mini M4 + Lima 三节点集群 上完整演练 Kubernetes 所有内置控制器:从 Deployment 滚动升级与回滚算法、DaemonSet 节点守护进程、StatefulSet + Headless Service 有状态集群固定身份与存储、Job/CronJob 并发与重试控制,一直到部署 Metrics Server 并压测触发 HPA 自动扩缩容。

包含的 5 个核心实操点 ​

  1. 实验点 2.1:Deployment 声明式编排、4 种扩缩容手段、RollingUpdate 步进控制(maxSurge/maxUnavailable)与历史版本回滚
  2. 实验点 2.2:DaemonSet 节点守护进程部署与 maxUnavailable 滚动更新验证
  3. 实验点 2.3:StatefulSet + Headless Service 实战——验证 0..N-1 有序启停、每个 Pod 独立固定 FQDN 域名解析、以及普通 Service vs 无头 Service 的 CoreDNS 解析差异
  4. 实验点 2.4:Job 一次性批处理(completions + parallelism + backoffLimit)与 CronJob 周期并发控制(Forbid / Replace)
  5. 实验点 2.5:部署 ARM64 Metrics Server(开启 --kubelet-insecure-tls)+ 压测触发 HPA 自动扩容与冷却缩容观察

1. 实验前准备:创建实验二专属命名空间 ​

在 lima-master 上执行:

bash
limactl shell master

kubectl create namespace lab2-workload
kubectl config set-context --current --namespace=lab2-workload

2. 实验点 2.1:Deployment 滚动发布、ReplicaSet 关联与闪电回滚 ​

原理回顾:Deployment 通过管理新旧两个 ReplicaSet(命名格式为 <deploy-name>-<pod-template-hash>)实现滚动更新。旧 ReplicaSet 缩容为 0 后依然保留,供 kubectl rollout undo 秒级回滚。

步骤 1:使用 --dry-run 生成 YAML 并部署带版本标识的 Web 服务 ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-app
spec:
  replicas: 4
  revisionHistoryLimit: 5
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
  selector:
    matchLabels:
      app: web-app
  template:
    metadata:
      labels:
        app: web-app
    spec:
      containers:
      - name: nginx
        image: nginx:1.24-alpine
        lifecycle:
          postStart:
            exec:
              command: ["sh", "-c", "echo 'Version: v1 (nginx 1.24)' > /usr/share/nginx/html/index.html"]
EOF

kubectl rollout status deployment/web-app
kubectl get deploy,rs,pods -l app=web-app

步骤 2:体验 4 种扩缩容方式中的 scale 与 patch ​

bash
# 方式 1:kubectl scale
kubectl scale deployment web-app --replicas=5
kubectl get deploy web-app

# 方式 2:kubectl patch 打补丁缩回 4 副本
kubectl patch deployment web-app -p '{"spec":{"replicas":4}}'
kubectl get deploy web-app

步骤 3:触发镜像滚动升级(v1 -> v2)并观察新旧两个 ReplicaSet ​

bash
# 更新镜像到 1.25-alpine 并记录变更原因
kubectl patch deployment web-app --type='json' -p='[
  {"op": "replace", "path": "/spec/template/spec/containers/0/image", "value": "nginx:1.25-alpine"},
  {"op": "replace", "path": "/spec/template/spec/containers/0/lifecycle/postStart/exec/command/2", "value": "echo \"Version: v2 (nginx 1.25)\" > /usr/share/nginx/html/index.html"}
]'

kubectl rollout status deployment/web-app

# 查看新旧两个 ReplicaSet(旧 RS 副本数为 0 但未删除,新 RS 副本数为 4)
kubectl get rs -l app=web-app
kubectl rollout history deployment/web-app

步骤 4:一键回滚至历史版本 v1 ​

bash
kubectl rollout undo deployment/web-app --to-revision=1
kubectl rollout status deployment/web-app

# 验证旧 RS 重新扩回 4 副本,且页面内容变回 v1
kubectl get rs -l app=web-app
POD_IP=$(kubectl get pods -l app=web-app -o jsonpath='{.items[0].status.podIP}')
curl -s "http://$POD_IP"

3. 实验点 2.2:DaemonSet 节点级守护进程编排 ​

原理回顾:DaemonSet 确保每个符合条件的节点上运行且仅运行 1 个 Pod 副本。

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-agent-ds
spec:
  updateStrategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
  selector:
    matchLabels:
      app: node-agent
  template:
    metadata:
      labels:
        app: node-agent
    spec:
      # 容忍 Master 的 NoSchedule 污点,从而在 master、node01、node02 三台机器各跑 1 个
      tolerations:
      - key: node-role.kubernetes.io/control-plane
        operator: Exists
        effect: NoSchedule
      containers:
      - name: agent
        image: busybox:1.36
        command: ["sh", "-c", "echo Node agent started on $(hostname) && sleep 3600"]
EOF

kubectl rollout status ds/node-agent-ds
# 观察 3 个 Pod 分别精准落在 lima-master、lima-node01、lima-node02
kubectl get pods -l app=node-agent -o wide

4. 实验点 2.3:StatefulSet + Headless Service 固定身份与无头域名解析对比 ​

原理回顾:

  • 普通 Service(ClusterIP):DNS 解析返回单一虚拟 ClusterIP,由 kube-proxy 负载均衡。
  • 无头服务(Headless Service, clusterIP: None):DNS 解析直接返回后端所有 Pod 的真实 IP 集合;结合 StatefulSet,每个 Pod 拥有固定不变的专属 FQDN:<pod-name>.<headless-svc>.<ns>.svc.cluster.local。

步骤 1:同时创建 Headless Service、普通 ClusterIP Service 与 StatefulSet ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  name: sts-headless
spec:
  clusterIP: None
  selector:
    app: stateful-web
  ports:
  - port: 80
    name: web
---
apiVersion: v1
kind: Service
metadata:
  name: sts-clusterip
spec:
  selector:
    app: stateful-web
  ports:
  - port: 80
    name: web
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web-sts
spec:
  serviceName: "sts-headless"
  replicas: 3
  selector:
    matchLabels:
      app: stateful-web
  template:
    metadata:
      labels:
        app: stateful-web
    spec:
      containers:
      - name: nginx
        image: nginx:stable-alpine
        lifecycle:
          postStart:
            exec:
              command: ["sh", "-c", "echo \"Hello from Stateful Pod: $(hostname)\" > /usr/share/nginx/html/index.html"]
EOF

# 实时观察 StatefulSet 严格按照 web-sts-0 -> web-sts-1 -> web-sts-2 顺序启动
kubectl rollout status statefulset/web-sts
kubectl get pods -l app=stateful-web -o wide

步骤 2:在临时 Pod 中对比普通 Service、Headless Service 与单 Pod 专属 FQDN 的 DNS 解析 ​

bash

# kubectl run命令方式创建pod,rm执行后删除,-i标准输入连接,-image指定镜像,--sh -c执行命令
kubectl run dns-verify --rm -i --restart=Never --image=busybox:1.36 -- sh -c '
  echo "=== 1. 普通 ClusterIP Service 解析结果 (仅返回虚拟 ClusterIP) ==="
  nslookup sts-clusterip.lab2-workload.svc.cluster.local

  echo "=== 2. Headless Service 解析结果 (直接返回 3 个 Pod 的真实 IP) ==="
  nslookup sts-headless.lab2-workload.svc.cluster.local

  echo "=== 3. 定向访问特定编号 Pod (web-sts-1) 的固定 FQDN ==="
  wget -qO- http://web-sts-1.sts-headless.lab2-workload.svc.cluster.local
'

步骤 3:删除 web-sts-1,验证重建后 IP 变化但 FQDN 依然精准寻址 ​

bash
OLD_IP=$(kubectl get pod web-sts-1 -o jsonpath='{.status.podIP}')
kubectl delete pod web-sts-1
kubectl wait --for=condition=Ready pod/web-sts-1 --timeout=60s
NEW_IP=$(kubectl get pod web-sts-1 -o jsonpath='{.status.podIP}')
echo "Old IP: $OLD_IP -> New IP: $NEW_IP"

# 再次通过固定域名访问 web-sts-1
kubectl run dns-verify2 --rm -i --restart=Never --image=busybox:1.36 -- \
  wget -qO- http://web-sts-1.sts-headless.lab2-workload.svc.cluster.local

5. 实验点 2.4:Job 并行批处理与 CronJob 周期并发策略 ​

步骤 1:运行带 completions: 4 与 parallelism: 2 的并行批处理 Job ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: batch-calc-job
spec:
  completions: 4             # 总共需要成功完成 4 次
  parallelism: 2             # 每次并发运行 2 个 Pod(分两批跑完)
  backoffLimit: 3            # 失败最多重试 3 次
  activeDeadlineSeconds: 120 # 超时保护
  ttlSecondsAfterFinished: 60
  template:
    spec:
      restartPolicy: OnFailure
      containers:
      - name: worker
        image: busybox:1.36
        command: ["sh", "-c", "echo \"Processing task on $(hostname)...\" && sleep 3 && echo \"Done!\""]
EOF

# 观察 Pod 分两批(每次 2 个)执行直到 Completed (4/4)
kubectl wait --for=condition=complete job/batch-calc-job --timeout=60s
kubectl get job batch-calc-job
kubectl get pods -l job-name=batch-calc-job

步骤 2:创建 concurrencyPolicy: Forbid 的 CronJob ​

bash
cat <<'EOF' | kubectl apply -f -
apiVersion: batch/v1
kind: CronJob
metadata:
  name: periodic-report
spec:
  schedule: "*/1 * * * *"          # 每分钟触发一次
  concurrencyPolicy: Forbid        # 若上一周期任务未跑完,严格禁止并发拉起新任务
  successfulJobsHistoryLimit: 2    # 仅保留最近 2 个成功历史记录
  failedJobsHistoryLimit: 1
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: OnFailure
          containers:
          - name: reporter
            image: busybox:1.36
            command: ["sh", "-c", "date; echo 'Generating cluster report...'"]
EOF

kubectl get cronjob periodic-report

6. 实验点 2.5:部署 Metrics Server 并压测验证 HPA 自动扩缩容 ​

原理回顾:HPA 依赖 Metrics Server 通过 API Aggregator 提供 /apis/metrics.k8s.io 指标。在 kubeadm 自签证书环境下,Metrics Server 必须添加 --kubelet-insecure-tls 启动参数。

步骤 1:在集群中安装配置好 --kubelet-insecure-tls 的 Metrics Server ​

在 lima-master 执行(若已安装会平滑更新):

bash
# 下载官方 Metrics Server 清单并自动注入 --kubelet-insecure-tls 参数
curl -sL https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml \
  | sed '/- --metric-resolution=15s/a \        - --kubelet-insecure-tls' \
  | kubectl apply -f -

kubectl rollout status deployment/metrics-server -n kube-system --timeout=120s

# 等待约 20 秒让 Metrics Server 完成首轮采集,然后验证 kubectl top!
sleep 20
kubectl top nodes
kubectl top pods -A | head -n 10

步骤 2:部署被控业务 Deployment 与 HPA 策略 ​

公式回顾:

期望副本数=⌈当前副本数×(当前 CPU 使用率目标 CPU 使用率)⌉
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hpa-target
spec:
  replicas: 1
  selector:
    matchLabels:
      app: hpa-target
  template:
    metadata:
      labels:
        app: hpa-target
    spec:
      containers:
      - name: app
        image: nginx:stable-alpine
        resources:
          requests:
            cpu: "100m"    # 必须声明 requests.cpu,否则 HPA 无法计算使用率百分比!
            memory: "64Mi"
          limits:
            cpu: "300m"
            memory: "128Mi"
---
apiVersion: v1
kind: Service
metadata:
  name: hpa-target-svc
spec:
  selector:
    app: hpa-target
  ports:
  - port: 80
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: hpa-target-scaler
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: hpa-target
  minReplicas: 1
  maxReplicas: 5
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 20   # 目标 CPU 利用率设为 20% (即 20m),方便快速触发扩容
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 30 # 实验环境将缩容防抖冷却窗口缩短为 30 秒便于观察
EOF

步骤 3:在容器内施加 CPU 负载,观察 HPA 自动从 1 扩容至多副本 ​

bash
# 1. 在 hpa-target 容器后台启动一个无限计算进程拉高 CPU
TARGET_POD=$(kubectl get pods -l app=hpa-target -o jsonpath='{.items[0].metadata.name}')
kubectl exec "$TARGET_POD" -- sh -c "sha256sum /dev/zero >/dev/null 2>&1 &"

# 2. 等待 30~45 秒,观察 HPA 指标飙升并自动扩容 Deployment 副本数!
sleep 35
kubectl get hpa hpa-target-scaler
kubectl get pods -l app=hpa-target

# 3. 停止压测进程,等待约 45 秒观察自动缩容回 1 副本
kubectl exec "$TARGET_POD" -- pkill sha256sum
sleep 45
kubectl get hpa hpa-target-scaler
kubectl get pods -l app=hpa-target

7. 实验二环境清理(保留 Metrics Server 供后续使用) ​

bash
kubectl config set-context --current --namespace=default
kubectl delete namespace lab2-workload