主题
实验二:核心工作负载编排、有状态服务与 HPA 弹性伸缩实战
0. 实验目标与环境基线
本实验在你的 Mac mini M4 + Lima 三节点集群 上完整演练 Kubernetes 所有内置控制器:从 Deployment 滚动升级与回滚算法、DaemonSet 节点守护进程、StatefulSet + Headless Service 有状态集群固定身份与存储、Job/CronJob 并发与重试控制,一直到部署 Metrics Server 并压测触发 HPA 自动扩缩容。
包含的 5 个核心实操点
- 实验点 2.1:Deployment 声明式编排、4 种扩缩容手段、RollingUpdate 步进控制(
maxSurge/maxUnavailable)与历史版本回滚 - 实验点 2.2:DaemonSet 节点守护进程部署与
maxUnavailable滚动更新验证 - 实验点 2.3:StatefulSet + Headless Service 实战——验证
0..N-1有序启停、每个 Pod 独立固定 FQDN 域名解析、以及普通 Service vs 无头 Service 的 CoreDNS 解析差异 - 实验点 2.4:Job 一次性批处理(
completions+parallelism+backoffLimit)与 CronJob 周期并发控制(Forbid/Replace) - 实验点 2.5:部署 ARM64
Metrics Server(开启--kubelet-insecure-tls)+ 压测触发 HPA 自动扩容与冷却缩容观察
1. 实验前准备:创建实验二专属命名空间
在 lima-master 上执行:
bash
limactl shell master
kubectl create namespace lab2-workload
kubectl config set-context --current --namespace=lab2-workload2. 实验点 2.1:Deployment 滚动发布、ReplicaSet 关联与闪电回滚
原理回顾:Deployment 通过管理新旧两个 ReplicaSet(命名格式为 <deploy-name>-<pod-template-hash>)实现滚动更新。旧 ReplicaSet 缩容为 0 后依然保留,供 kubectl rollout undo 秒级回滚。
步骤 1:使用 --dry-run 生成 YAML 并部署带版本标识的 Web 服务
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-app
spec:
replicas: 4
revisionHistoryLimit: 5
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 1
selector:
matchLabels:
app: web-app
template:
metadata:
labels:
app: web-app
spec:
containers:
- name: nginx
image: nginx:1.24-alpine
lifecycle:
postStart:
exec:
command: ["sh", "-c", "echo 'Version: v1 (nginx 1.24)' > /usr/share/nginx/html/index.html"]
EOF
kubectl rollout status deployment/web-app
kubectl get deploy,rs,pods -l app=web-app步骤 2:体验 4 种扩缩容方式中的 scale 与 patch
bash
# 方式 1:kubectl scale
kubectl scale deployment web-app --replicas=5
kubectl get deploy web-app
# 方式 2:kubectl patch 打补丁缩回 4 副本
kubectl patch deployment web-app -p '{"spec":{"replicas":4}}'
kubectl get deploy web-app步骤 3:触发镜像滚动升级(v1 -> v2)并观察新旧两个 ReplicaSet
bash
# 更新镜像到 1.25-alpine 并记录变更原因
kubectl patch deployment web-app --type='json' -p='[
{"op": "replace", "path": "/spec/template/spec/containers/0/image", "value": "nginx:1.25-alpine"},
{"op": "replace", "path": "/spec/template/spec/containers/0/lifecycle/postStart/exec/command/2", "value": "echo \"Version: v2 (nginx 1.25)\" > /usr/share/nginx/html/index.html"}
]'
kubectl rollout status deployment/web-app
# 查看新旧两个 ReplicaSet(旧 RS 副本数为 0 但未删除,新 RS 副本数为 4)
kubectl get rs -l app=web-app
kubectl rollout history deployment/web-app步骤 4:一键回滚至历史版本 v1
bash
kubectl rollout undo deployment/web-app --to-revision=1
kubectl rollout status deployment/web-app
# 验证旧 RS 重新扩回 4 副本,且页面内容变回 v1
kubectl get rs -l app=web-app
POD_IP=$(kubectl get pods -l app=web-app -o jsonpath='{.items[0].status.podIP}')
curl -s "http://$POD_IP"3. 实验点 2.2:DaemonSet 节点级守护进程编排
原理回顾:DaemonSet 确保每个符合条件的节点上运行且仅运行 1 个 Pod 副本。
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: node-agent-ds
spec:
updateStrategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 1
selector:
matchLabels:
app: node-agent
template:
metadata:
labels:
app: node-agent
spec:
# 容忍 Master 的 NoSchedule 污点,从而在 master、node01、node02 三台机器各跑 1 个
tolerations:
- key: node-role.kubernetes.io/control-plane
operator: Exists
effect: NoSchedule
containers:
- name: agent
image: busybox:1.36
command: ["sh", "-c", "echo Node agent started on $(hostname) && sleep 3600"]
EOF
kubectl rollout status ds/node-agent-ds
# 观察 3 个 Pod 分别精准落在 lima-master、lima-node01、lima-node02
kubectl get pods -l app=node-agent -o wide4. 实验点 2.3:StatefulSet + Headless Service 固定身份与无头域名解析对比
原理回顾:
- 普通 Service(ClusterIP):DNS 解析返回单一虚拟 ClusterIP,由
kube-proxy负载均衡。 - 无头服务(Headless Service,
clusterIP: None):DNS 解析直接返回后端所有 Pod 的真实 IP 集合;结合 StatefulSet,每个 Pod 拥有固定不变的专属 FQDN:<pod-name>.<headless-svc>.<ns>.svc.cluster.local。
步骤 1:同时创建 Headless Service、普通 ClusterIP Service 与 StatefulSet
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
name: sts-headless
spec:
clusterIP: None
selector:
app: stateful-web
ports:
- port: 80
name: web
---
apiVersion: v1
kind: Service
metadata:
name: sts-clusterip
spec:
selector:
app: stateful-web
ports:
- port: 80
name: web
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web-sts
spec:
serviceName: "sts-headless"
replicas: 3
selector:
matchLabels:
app: stateful-web
template:
metadata:
labels:
app: stateful-web
spec:
containers:
- name: nginx
image: nginx:stable-alpine
lifecycle:
postStart:
exec:
command: ["sh", "-c", "echo \"Hello from Stateful Pod: $(hostname)\" > /usr/share/nginx/html/index.html"]
EOF
# 实时观察 StatefulSet 严格按照 web-sts-0 -> web-sts-1 -> web-sts-2 顺序启动
kubectl rollout status statefulset/web-sts
kubectl get pods -l app=stateful-web -o wide步骤 2:在临时 Pod 中对比普通 Service、Headless Service 与单 Pod 专属 FQDN 的 DNS 解析
bash
# kubectl run命令方式创建pod,rm执行后删除,-i标准输入连接,-image指定镜像,--sh -c执行命令
kubectl run dns-verify --rm -i --restart=Never --image=busybox:1.36 -- sh -c '
echo "=== 1. 普通 ClusterIP Service 解析结果 (仅返回虚拟 ClusterIP) ==="
nslookup sts-clusterip.lab2-workload.svc.cluster.local
echo "=== 2. Headless Service 解析结果 (直接返回 3 个 Pod 的真实 IP) ==="
nslookup sts-headless.lab2-workload.svc.cluster.local
echo "=== 3. 定向访问特定编号 Pod (web-sts-1) 的固定 FQDN ==="
wget -qO- http://web-sts-1.sts-headless.lab2-workload.svc.cluster.local
'步骤 3:删除 web-sts-1,验证重建后 IP 变化但 FQDN 依然精准寻址
bash
OLD_IP=$(kubectl get pod web-sts-1 -o jsonpath='{.status.podIP}')
kubectl delete pod web-sts-1
kubectl wait --for=condition=Ready pod/web-sts-1 --timeout=60s
NEW_IP=$(kubectl get pod web-sts-1 -o jsonpath='{.status.podIP}')
echo "Old IP: $OLD_IP -> New IP: $NEW_IP"
# 再次通过固定域名访问 web-sts-1
kubectl run dns-verify2 --rm -i --restart=Never --image=busybox:1.36 -- \
wget -qO- http://web-sts-1.sts-headless.lab2-workload.svc.cluster.local5. 实验点 2.4:Job 并行批处理与 CronJob 周期并发策略
步骤 1:运行带 completions: 4 与 parallelism: 2 的并行批处理 Job
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
name: batch-calc-job
spec:
completions: 4 # 总共需要成功完成 4 次
parallelism: 2 # 每次并发运行 2 个 Pod(分两批跑完)
backoffLimit: 3 # 失败最多重试 3 次
activeDeadlineSeconds: 120 # 超时保护
ttlSecondsAfterFinished: 60
template:
spec:
restartPolicy: OnFailure
containers:
- name: worker
image: busybox:1.36
command: ["sh", "-c", "echo \"Processing task on $(hostname)...\" && sleep 3 && echo \"Done!\""]
EOF
# 观察 Pod 分两批(每次 2 个)执行直到 Completed (4/4)
kubectl wait --for=condition=complete job/batch-calc-job --timeout=60s
kubectl get job batch-calc-job
kubectl get pods -l job-name=batch-calc-job步骤 2:创建 concurrencyPolicy: Forbid 的 CronJob
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: batch/v1
kind: CronJob
metadata:
name: periodic-report
spec:
schedule: "*/1 * * * *" # 每分钟触发一次
concurrencyPolicy: Forbid # 若上一周期任务未跑完,严格禁止并发拉起新任务
successfulJobsHistoryLimit: 2 # 仅保留最近 2 个成功历史记录
failedJobsHistoryLimit: 1
jobTemplate:
spec:
template:
spec:
restartPolicy: OnFailure
containers:
- name: reporter
image: busybox:1.36
command: ["sh", "-c", "date; echo 'Generating cluster report...'"]
EOF
kubectl get cronjob periodic-report6. 实验点 2.5:部署 Metrics Server 并压测验证 HPA 自动扩缩容
原理回顾:HPA 依赖 Metrics Server 通过 API Aggregator 提供 /apis/metrics.k8s.io 指标。在 kubeadm 自签证书环境下,Metrics Server 必须添加 --kubelet-insecure-tls 启动参数。
步骤 1:在集群中安装配置好 --kubelet-insecure-tls 的 Metrics Server
在 lima-master 执行(若已安装会平滑更新):
bash
# 下载官方 Metrics Server 清单并自动注入 --kubelet-insecure-tls 参数
curl -sL https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml \
| sed '/- --metric-resolution=15s/a \ - --kubelet-insecure-tls' \
| kubectl apply -f -
kubectl rollout status deployment/metrics-server -n kube-system --timeout=120s
# 等待约 20 秒让 Metrics Server 完成首轮采集,然后验证 kubectl top!
sleep 20
kubectl top nodes
kubectl top pods -A | head -n 10步骤 2:部署被控业务 Deployment 与 HPA 策略
公式回顾:
bash
cat <<'EOF' | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: hpa-target
spec:
replicas: 1
selector:
matchLabels:
app: hpa-target
template:
metadata:
labels:
app: hpa-target
spec:
containers:
- name: app
image: nginx:stable-alpine
resources:
requests:
cpu: "100m" # 必须声明 requests.cpu,否则 HPA 无法计算使用率百分比!
memory: "64Mi"
limits:
cpu: "300m"
memory: "128Mi"
---
apiVersion: v1
kind: Service
metadata:
name: hpa-target-svc
spec:
selector:
app: hpa-target
ports:
- port: 80
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: hpa-target-scaler
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: hpa-target
minReplicas: 1
maxReplicas: 5
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 20 # 目标 CPU 利用率设为 20% (即 20m),方便快速触发扩容
behavior:
scaleDown:
stabilizationWindowSeconds: 30 # 实验环境将缩容防抖冷却窗口缩短为 30 秒便于观察
EOF步骤 3:在容器内施加 CPU 负载,观察 HPA 自动从 1 扩容至多副本
bash
# 1. 在 hpa-target 容器后台启动一个无限计算进程拉高 CPU
TARGET_POD=$(kubectl get pods -l app=hpa-target -o jsonpath='{.items[0].metadata.name}')
kubectl exec "$TARGET_POD" -- sh -c "sha256sum /dev/zero >/dev/null 2>&1 &"
# 2. 等待 30~45 秒,观察 HPA 指标飙升并自动扩容 Deployment 副本数!
sleep 35
kubectl get hpa hpa-target-scaler
kubectl get pods -l app=hpa-target
# 3. 停止压测进程,等待约 45 秒观察自动缩容回 1 副本
kubectl exec "$TARGET_POD" -- pkill sha256sum
sleep 45
kubectl get hpa hpa-target-scaler
kubectl get pods -l app=hpa-target7. 实验二环境清理(保留 Metrics Server 供后续使用)
bash
kubectl config set-context --current --namespace=default
kubectl delete namespace lab2-workload