主题
A 集群安装方案选型与 Lima 虚拟化前置准备
Kubernetes 集群主流有两种部署方式:
- kubeadm 工具(官方强烈推荐):宿主机仅需通过
dnf/yum安装containerd与kubelet两个系统服务,其余所有控制面组件(apiserver、etcd、scheduler、controller-manager)均以容器镜像形式由 kubeadm 自动拉起为 Static Pod(静态 Pod)。 - 二进制安装:手动下载或编译所有组件二进制包并逐个配置 systemd 服务与高可用证书联通,过程极其繁琐,生产中已不推荐。
以在 Mac mini M4 上通过 Lima 创建三台 Rocky Linux 9 ARM64 虚拟机(采用 user-v2 网络互联)搭建生产级实验集群(1 Master + 2 Worker)为例:
kv
Master 节点: 192.168.104.1 | 控制平面 Static Pod + containerd + kubelet
Node01 节点: 192.168.104.3 | Worker 计算节点 (containerd + kubelet + kube-proxy)
Node02 节点: 192.168.104.4 | Worker 计算节点 (containerd + kubelet + kube-proxy)callout
- 日常可通过 `limactl start / stop` 启停三台虚拟机。
- 虚拟机启动后,systemd 会自动拉起 `containerd` 与 `kubelet` 服务,随后 kubelet 自动扫描并恢复静态 Pod 控制平面,CoreDNS、Flannel 与业务 Pod 随之自动自愈恢复,**无需再次执行 `kubeadm init/join`**。callout
生产部署前必须严格执行以下四项系统层调整,否则 Kubelet 启动将抛出致命错误:bash
# 1. 永久关闭 Swap 分区(Kubernetes 默认要求关闭内存置换以确保 QoS 调度精确)
sudo swapoff -a
sudo sed -ri '/\sswap\s/s/^/#/' /etc/fstab
# 2. 启用 overlay 与 br_netfilter 关键内核模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter
# 3. 开启桥接网卡 IPv4 流量转发与 iptables 过滤
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
sudo sysctl --systemB Kubeadm 安装全生命周期流水线
kubeadm 是官方推荐的标准集群引导工具。它将控制平面核心组件(API Server、etcd、Controller Manager、Scheduler)全部封装为容器镜像,并由底层 Kubelet 引导为静态 Pod (Static Pod)。
flow
[节点初始化 prepare] -> [安装 containerd 与 kubelet]
[安装 containerd 与 kubelet] -> [Master 执行 kubeadm init]
[Master 执行 kubeadm init] -> [部署 Flannel / Calico CNI]
[部署 Flannel / Calico CNI] -> [Worker 执行 kubeadm join]
[Worker 执行 kubeadm join] -> (集群就绪 All Ready)callout
```bash
sudo kubeadm init \
--apiserver-advertise-address=192.168.104.1 \
--image-repository=registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///run/containerd/containerd.sock--pod-network-cidr:指定 Pod 分配的大网段(需与后续安装的 CNI 插件网段保持一致)。--cri-socket:显式声明 containerd 的 UNIX Domain Socket,避免多运行时冲突。
C 静态 Pod (Static Pod) 机制深入剖析
静态 Pod 是 Kubernetes 启动的核心“自举”利器:它完全由节点上的 kubelet 守护进程直接监控管理,不经由 API Server 控制器编排。
flow
[Master 节点 Kubelet] -> [本地文件目录 /etc/kubernetes/manifests]: Inotify 定期扫描
[本地文件目录 /etc/kubernetes/manifests] -> [apiserver.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [etcd.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [kube-scheduler.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [controller-manager.yaml]: 声明容器
[Master 节点 Kubelet] -> [Containerd 运行时]: 本地拉起 Static Podcallout
1. **宿主强绑定**:静态 Pod 仅在其 YAML 文件所在的节点上运行,Kube-Scheduler 无法对其进行迁移与重新调度。
2. **只读镜像映射**:Kubelet 会向 API Server 注册一个同名的“影子 Pod(Mirror Pod)”,使得用户可以通过 `kubectl get pods -n kube-system` 观察其健康状态。
3. **不可通过 kubectl 删除**:在终端执行 `kubectl delete pod kube-apiserver-master`,Kubelet 会在毫秒级内自动读取本地 manifests 重建该 Pod;彻底销毁的唯一手段是移出该目录下的 YAML 文件。D 容器运行时演进:Docker 废弃与 Containerd 直连
在 Kubernetes 1.20 之前,Kubelet 通过 dockershim 转译对接 Docker Daemon,链路冗长(Kubelet -> dockershim -> dockerd -> containerd -> containerd-shim -> runc)。1.24 版本正式移除 dockershim 后,架构高度精简:
flow
[Kubelet] -> [Containerd]: CRI gRPC 接口直连
[Containerd] -> [containerd-shim]: 进程守护
[containerd-shim] -> [runc]: 启动业务容器callout
- **调用层级减半**:削减了 Docker Daemon 这一中心化进程,消除单点故障与资源额外开销。
- **核心配置文件**:位于 `/etc/containerd/config.toml`。配置 `SystemdCgroup = true`,使节点资源计数器与操作系统 systemd 完全统一;内置 **Stream Server** 支持 `kubectl exec` 进入 Pod Shell,并通过 **CNI 插件**初始化容器网络。
- **标准输出日志与日志切割**:容器标准输出日志默认落盘在宿主机 `/var/log/pods/<namespace>_<pod_name>_<uid>/`。为防止业务日志无限增长撑爆宿主机磁盘,可在 Kubelet 配置(如 `/var/lib/kubelet/config.yaml` 或 `/usr/lib/systemd/system/kubelet.service.d/` 启动参数)中配置 `containerLogMaxSize`(如 `--container-log-max-size=100Mi`)与 `containerLogMaxFiles` 实现自动日志切割与上限控制。E 容器客户端全景对照表:Docker vs CTR vs Nerdctl vs Crictl
面对不同的排障场景,工程师需要选用正确的客户端工具:
| 运维操作场景 | Docker CLI (传统) | containerd ctr (底层调试) | nerdctl (全功能替代 Docker) | crictl (K8s CRI 专职排障) |
|---|---|---|---|---|
| 查看运行容器 | docker ps | ctr -n k8s.io c ls | nerdctl -n k8s.io ps | crictl ps |
| 拉取容器镜像 | docker pull <img> | ctr -n k8s.io i pull <img> | nerdctl -n k8s.io pull | crictl pull <img> |
| 查看所有镜像 | docker images | ctr -n k8s.io i ls | nerdctl -n k8s.io images | crictl images |
| 进入容器交互终端 | docker exec -it <c> sh | ctr -n k8s.io t exec --exec-id 1 -t <c> sh | nerdctl -n k8s.io exec -it <c> sh | crictl exec -it <c> sh |
| 查看 Pod 列表 | 不支持 Pod 概念 | 不支持 Pod 概念 | 不支持 Pod 概念 | crictl pods |
| 查看容器日志 | docker logs <c> | 无直接命令,需查本地日志文件 | nerdctl -n k8s.io logs <c> | crictl logs <c> |
| 容器指标监控 | docker stats | ctr -n k8s.io t metrics <c> | nerdctl -n k8s.io top | crictl stats |
| 镜像导入导出 | docker save / load | ctr -n k8s.io i export / import | nerdctl save / load | 不支持导出,仅专职 CRI 排障 |
| 查看任务进程树 | docker top <c> | ctr -n k8s.io t ls / t ps <c> | nerdctl top <c> | crictl inspect <c> |
callout
- `ctr` 和 `nerdctl` 必须携带 `-n k8s.io` 参数,否则默认操作的是 containerd 的 `default` 命名空间,无法看到由 Kubelet 创建的 Pod 容器。
- `crictl` 天然面向 Kubernetes CRI,无需传递命名空间参数,是生产排障的首选工具。F 集群环境清理重置与重建 SOP
当集群网络冲突或证书失效需重置时,标准执行步骤如下:
bash
# 1. 所有节点执行 kubeadm 重置
sudo kubeadm reset -f --cri-socket=unix:///run/containerd/containerd.sock
# 2. 彻底清理残留 CNI 配置与虚拟网络设备
sudo rm -rf /etc/cni/net.d
sudo rm -rf /var/lib/cni/
sudo ip link delete cni0 2>/dev/null || true
sudo ip link delete flannel.1 2>/dev/null || true
# 3. Master 额外清除集群证书与 kubeconfig
rm -rf /etc/kubernetes/
rm -f ~/.kube/config
# 4. 重建集群:Master 重新 kubeadm init,应用 CNI,Worker 重新 kubeadm join