Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
控制面高可用架构设计与无损升级实战
堆叠式与外置 etcd 对比、Keepalived VIP 容灾与节点平滑升级标准流程
控制平面高可用架构:堆叠式 vs 外置 etcd
在生产级 Kubernetes 建设中,单 Master 存在严重单点故障(SPOF)。业内主流高可用架构分为两大流派:
| 选型对比维度 | 堆叠式架构 (Stacked etcd) | 外置独立架构 (External etcd) |
|---|---|---|
| 硬件成本 | 节省机器,仅需 3 台 Master 物理机 | 需额外 3~5 台独立存储专用机 |
| 部署复杂度 | 极低,kubeadm 原生一键全自动初始化 |
较高,需独立规划 etcd 证书与网络隔离 |
| 状态解耦性 | 控制面计算与数据落盘抢占本地同一磁盘 | 完全解耦,Master 变为完全无状态 |
| 推荐适用场景 | 中小型企业生产环境、私有云标配 | 千台节点规模、金融银行核心核心集群 |
Keepalived + Nginx 多 Master 高可用方案
为了给集群内所有 Worker 节点以及外部运维人员提供一个单点稳定入口,生产实践常采用 Keepalived + Nginx 双机热备负载拓扑:
故障无缝漂移
若 Master 01 发生宕机或 Nginx 崩溃,Keepalived 探测脚本在 2 秒内察觉,VIP 立即跨物理网卡自动浮动漂移至 Master 02,底层 TCP 连接自动重建,集群上万个 Pod 运行平稳无中断!
C etcd 数据备份、健康巡检与灾难恢复
etcd 是集群生命的终极底线,生产中必须通过定时 CronJob 执行本地快照备份与远程异地备份:
# 1. 检查 etcd 集群健康状态与成员列表 (member list)ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key \ endpoint healthETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key \ member list -w table# 2. 绕过 API Server 直接查看 etcd 底层键值数据 (底层以 Protobuf / JSON 格式存于 /registry 路径下)ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key \ get /registry/deployments/default --prefix --keys-only# 3. 创建一致性快照 (Snapshot) 备份 /var/lib/etcd 数据ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key \ snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db# 4. 灾难恢复:从快照还原数据目录ETCDCTL_API=3 etcdctl snapshot restore /backup/etcd-snapshot-xxx.db \ --data-dir=/var/lib/etcd-restoredKubernetes 集群三大升级方案与无损滚动升级 SOP
- 方案 1
- 蓝绿集群升级 | 新建一套同规模新版本集群迁移流量,最为安全但双倍机器成本极高
- 方案 2
- 滚动替换节点 | 新增装好新版本的机器 join 进集群,再逐台排空下线旧机器(云上弹性集群常用)
- 方案 3
- 原地滚动升级 | 在现有高可用集群上先逐台升级 Master 控制面,再分批升级 Worker 节点(物理机房主流)
升级核心铁律
- 严禁跨两个次版本直升:例如从
1.24直升1.26会引发 API 弃用与证书认证不兼容,必须按1.24 -> 1.25 -> 1.26逐级爬坡! - 控制面先于工作面:升级顺序必须严格遵循:Master 控制平面 -> 节点 CNI 插件 -> Worker 计算节点。