主题
A 控制平面高可用架构:堆叠式 vs 外置 etcd
在生产级 Kubernetes 建设中,单 Master 存在严重单点故障(SPOF)。业内主流高可用架构分为两大流派:
flow
[方案 1: 堆叠式 Stacked etcd] -> [Master 1: APIServer + etcd Pod]
[方案 1: 堆叠式 Stacked etcd] -> [Master 2: APIServer + etcd Pod]
[方案 1: 堆叠式 Stacked etcd] -> [Master 3: APIServer + etcd Pod]
[方案 2: 外置独立 External etcd] -> [控制面 Master 节点池 (纯无状态)]
[控制面 Master 节点池 (纯无状态)] -> [独立物理 etcd 集群 3/5 节点]
group 堆叠式架构 (轻量一体化): Master 1: APIServer + etcd Pod, Master 2: APIServer + etcd Pod, Master 3: APIServer + etcd Pod
group 外置解耦架构 (超大规模金融级): 控制面 Master 节点池 (纯无状态), 独立物理 etcd 集群 3/5 节点| 选型对比维度 | 堆叠式架构 (Stacked etcd) | 外置独立架构 (External etcd) |
|---|---|---|
| 硬件成本 | 节省机器,仅需 3 台 Master 物理机 | 需额外 3~5 台独立存储专用机 |
| 部署复杂度 | 极低,kubeadm 原生一键全自动初始化 | 较高,需独立规划 etcd 证书与网络隔离 |
| 状态解耦性 | 控制面计算与数据落盘抢占本地同一磁盘 | 完全解耦,Master 变为完全无状态 |
| 推荐适用场景 | 中小型企业生产环境、私有云标配 | 千台节点规模、金融银行核心核心集群 |
B Keepalived + Nginx 多 Master 高可用方案
为了给集群内所有 Worker 节点以及外部运维人员提供一个单点稳定入口,生产实践常采用 Keepalived + Nginx 双机热备负载拓扑:
flow
[所有 Worker 节点 Kubelet] -> [虚拟浮动 IP (VIP 192.168.104.100:6443)]
[运维管理终端 kubectl] -> [虚拟浮动 IP (VIP 192.168.104.100:6443)]
[虚拟浮动 IP (VIP 192.168.104.100:6443)] -> [Keepalived 主备健康检测]: VRRP 协议心跳
[Keepalived 主备健康检测] -> [本地 Nginx 四层 stream 代理]
[本地 Nginx 四层 stream 代理] -> [Master 01 API Server (6443)]
[本地 Nginx 四层 stream 代理] -> [Master 02 API Server (6443)]
[本地 Nginx 四层 stream 代理] -> [Master 03 API Server (6443)]
group 双机热备四层负载: Keepalived 主备健康检测, 本地 Nginx 四层 stream 代理
group 控制面 API Server 集群: Master 01 API Server (6443), Master 02 API Server (6443), Master 03 API Server (6443)callout
若 Master 01 发生宕机或 Nginx 崩溃,Keepalived 探测脚本在 2 秒内察觉,VIP 立即跨物理网卡自动浮动漂移至 Master 02,底层 TCP 连接自动重建,集群上万个 Pod 运行平稳无中断!C etcd 数据备份、健康巡检与灾难恢复
etcd 是集群生命的终极底线,生产中必须通过定时 CronJob 执行本地快照备份与远程异地备份:
bash
# 1. 检查 etcd 集群健康状态与成员列表 (member list)
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
endpoint health
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
member list -w table
# 2. 绕过 API Server 直接查看 etcd 底层键值数据 (底层以 Protobuf / JSON 格式存于 /registry 路径下)
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
get /registry/deployments/default --prefix --keys-only
# 3. 创建一致性快照 (Snapshot) 备份 /var/lib/etcd 数据
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
snapshot save /backup/etcd-snapshot-$(date +%Y%m%d).db
# 4. 灾难恢复:从快照还原数据目录
ETCDCTL_API=3 etcdctl snapshot restore /backup/etcd-snapshot-xxx.db \
--data-dir=/var/lib/etcd-restoredD Kubernetes 集群三大升级方案与无损滚动升级 SOP
kv
方案 1: 蓝绿集群升级 | 新建一套同规模新版本集群迁移流量,最为安全但双倍机器成本极高
方案 2: 滚动替换节点 | 新增装好新版本的机器 join 进集群,再逐台排空下线旧机器(云上弹性集群常用)
方案 3: 原地滚动升级 | 在现有高可用集群上先逐台升级 Master 控制面,再分批升级 Worker 节点(物理机房主流)callout
1. **严禁跨两个次版本直升**:例如从 `1.24` 直升 `1.26` 会引发 API 弃用与证书认证不兼容,必须按 `1.24 -> 1.25 -> 1.26` 逐级爬坡!
2. **控制面先于工作面**:升级顺序必须严格遵循:Master 控制平面 -> 节点 CNI 插件 -> Worker 计算节点。单节点无损维护滚动升级六步法
sequence
participants: SRE管理员, API Server, 目标Node计算节点, Kubelet
SRE管理员 -> API Server: 1. 执行 kubectl cordon <node> (封锁调度,禁止新 Pod 进驻)
SRE管理员 -> API Server: 2. 检查 PDB 确保有足够的存活副本余量
SRE管理员 -> API Server: 3. 执行 kubectl drain <node> --ignore-daemonsets (平滑排空业务 Pod)
API Server -> 目标Node计算节点: 4. 向节点 Pod 发送 SIGTERM,并在健康节点重建新副本
SRE管理员 -> 目标Node计算节点: 5. 升级 kubeadm, kubelet, kubectl 软件包并重启 kubelet
SRE管理员 -> API Server: 6. 执行 kubectl uncordon <node> (解除封锁,恢复调度)