Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

控制面高可用架构设计与无损升级实战

堆叠式与外置 etcd 对比、Keepalived VIP 容灾与节点平滑升级标准流程

A

控制平面高可用架构:堆叠式 vs 外置 etcd

在生产级 Kubernetes 建设中,单 Master 存在严重单点故障(SPOF)。业内主流高可用架构分为两大流派:

堆叠式架构 (轻量一体化)外置解耦架构 (超大规模金融级)方案 1: 堆叠式 StackedetcdMaster 1: APIServer +etcd PodMaster 2: APIServer +etcd PodMaster 3: APIServer +etcd Pod方案 2: 外置独立External etcd控制面 Master 节点池 (纯无状态)独立物理 etcd 集群 3/5节点
选型对比维度 堆叠式架构 (Stacked etcd) 外置独立架构 (External etcd)
硬件成本 节省机器,仅需 3 台 Master 物理机 需额外 3~5 台独立存储专用机
部署复杂度 极低,kubeadm 原生一键全自动初始化 较高,需独立规划 etcd 证书与网络隔离
状态解耦性 控制面计算与数据落盘抢占本地同一磁盘 完全解耦,Master 变为完全无状态
推荐适用场景 中小型企业生产环境、私有云标配 千台节点规模、金融银行核心核心集群
B

Keepalived + Nginx 多 Master 高可用方案

为了给集群内所有 Worker 节点以及外部运维人员提供一个单点稳定入口,生产实践常采用 Keepalived + Nginx 双机热备负载拓扑:

双机热备四层负载控制面 API Server 集群VRRP 协议心跳所有 Worker 节点Kubelet虚拟浮动 IP (VIP192.168.104.100:6443)运维管理终端 kubectlKeepalived 主备健康检测本地 Nginx 四层 stream代理Master 01 API Server(6443)Master 02 API Server(6443)Master 03 API Server(6443)
故障无缝漂移

若 Master 01 发生宕机或 Nginx 崩溃,Keepalived 探测脚本在 2 秒内察觉,VIP 立即跨物理网卡自动浮动漂移至 Master 02,底层 TCP 连接自动重建,集群上万个 Pod 运行平稳无中断!

C

C etcd 数据备份、健康巡检与灾难恢复

etcd 是集群生命的终极底线,生产中必须通过定时 CronJob 执行本地快照备份与远程异地备份:

bash
# 1. 检查 etcd 集群健康状态与成员列表 (member list)ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \  --cacert=/etc/kubernetes/pki/etcd/ca.crt \  --cert=/etc/kubernetes/pki/etcd/server.crt \  --key=/etc/kubernetes/pki/etcd/server.key \  endpoint healthETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \  --cacert=/etc/kubernetes/pki/etcd/ca.crt \  --cert=/etc/kubernetes/pki/etcd/server.crt \  --key=/etc/kubernetes/pki/etcd/server.key \  member list -w table# 2. 绕过 API Server 直接查看 etcd 底层键值数据 (底层以 Protobuf / JSON 格式存于 /registry 路径下)ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \  --cacert=/etc/kubernetes/pki/etcd/ca.crt \  --cert=/etc/kubernetes/pki/etcd/server.crt \  --key=/etc/kubernetes/pki/etcd/server.key \  get /registry/deployments/default --prefix --keys-only# 3. 创建一致性快照 (Snapshot) 备份 /var/lib/etcd 数据ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \  --cacert=/etc/kubernetes/pki/etcd/ca.crt \  --cert=/etc/kubernetes/pki/etcd/server.crt \  --key=/etc/kubernetes/pki/etcd/server.key \  snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db# 4. 灾难恢复:从快照还原数据目录ETCDCTL_API=3 etcdctl snapshot restore /backup/etcd-snapshot-xxx.db \  --data-dir=/var/lib/etcd-restored
D

Kubernetes 集群三大升级方案与无损滚动升级 SOP

方案 1
蓝绿集群升级 | 新建一套同规模新版本集群迁移流量,最为安全但双倍机器成本极高
方案 2
滚动替换节点 | 新增装好新版本的机器 join 进集群,再逐台排空下线旧机器(云上弹性集群常用)
方案 3
原地滚动升级 | 在现有高可用集群上先逐台升级 Master 控制面,再分批升级 Worker 节点(物理机房主流)
升级核心铁律
  1. 严禁跨两个次版本直升:例如从 1.24 直升 1.26 会引发 API 弃用与证书认证不兼容,必须按 1.24 -> 1.25 -> 1.26 逐级爬坡!
  2. 控制面先于工作面:升级顺序必须严格遵循:Master 控制平面 -> 节点 CNI 插件 -> Worker 计算节点。

单节点无损维护滚动升级六步法

SRE管理员API Server目标Node计算节点Kubelet1. 执行 kubectl cordon <node> (封锁调度,禁止新 Pod 进驻)12. 检查 PDB 确保有足够的存活副本余量23. 执行 kubectl drain <node>--ignore-daemonsets (平滑排空业务Pod)34. 向节点 Pod 发送 SIGTERM,并在健康节点重建新副本45. 升级 kubeadm, kubelet, kubectl 软件包并重启 kubelet56. 执行 kubectl uncordon <node> (解除封锁,恢复调度)6