Skip to content

A 集群安装方案选型与 Lima 虚拟化前置准备 ​

Kubernetes 集群主流有两种部署方式:

  1. kubeadm 工具(官方强烈推荐):宿主机仅需通过 dnf/yum 安装 containerd 与 kubelet 两个系统服务,其余所有控制面组件(apiserver、etcd、scheduler、controller-manager)均以容器镜像形式由 kubeadm 自动拉起为 Static Pod(静态 Pod)。
  2. 二进制安装:手动下载或编译所有组件二进制包并逐个配置 systemd 服务与高可用证书联通,过程极其繁琐,生产中已不推荐。

以在 Mac mini M4 上通过 Lima 创建三台 Rocky Linux 9 ARM64 虚拟机(采用 user-v2 网络互联)搭建生产级实验集群(1 Master + 2 Worker)为例:

kv
Master 节点: 192.168.104.1 | 控制平面 Static Pod + containerd + kubelet
Node01 节点: 192.168.104.3 | Worker 计算节点 (containerd + kubelet + kube-proxy)
Node02 节点: 192.168.104.4 | Worker 计算节点 (containerd + kubelet + kube-proxy)
callout
- 日常可通过 `limactl start / stop` 启停三台虚拟机。
- 虚拟机启动后,systemd 会自动拉起 `containerd` 与 `kubelet` 服务,随后 kubelet 自动扫描并恢复静态 Pod 控制平面,CoreDNS、Flannel 与业务 Pod 随之自动自愈恢复,**无需再次执行 `kubeadm init/join`**。
callout
生产部署前必须严格执行以下四项系统层调整,否则 Kubelet 启动将抛出致命错误:
bash
# 1. 永久关闭 Swap 分区(Kubernetes 默认要求关闭内存置换以确保 QoS 调度精确)
sudo swapoff -a
sudo sed -ri '/\sswap\s/s/^/#/' /etc/fstab

# 2. 启用 overlay 与 br_netfilter 关键内核模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter

# 3. 开启桥接网卡 IPv4 流量转发与 iptables 过滤
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF
sudo sysctl --system

B Kubeadm 安装全生命周期流水线 ​

kubeadm 是官方推荐的标准集群引导工具。它将控制平面核心组件(API Server、etcd、Controller Manager、Scheduler)全部封装为容器镜像,并由底层 Kubelet 引导为静态 Pod (Static Pod)。

flow
[节点初始化 prepare] -> [安装 containerd 与 kubelet]
[安装 containerd 与 kubelet] -> [Master 执行 kubeadm init]
[Master 执行 kubeadm init] -> [部署 Flannel / Calico CNI]
[部署 Flannel / Calico CNI] -> [Worker 执行 kubeadm join]
[Worker 执行 kubeadm join] -> (集群就绪 All Ready)
callout
```bash
sudo kubeadm init \
  --apiserver-advertise-address=192.168.104.1 \
  --image-repository=registry.aliyuncs.com/google_containers \
  --pod-network-cidr=10.244.0.0/16 \
  --cri-socket=unix:///run/containerd/containerd.sock
  • --pod-network-cidr:指定 Pod 分配的大网段(需与后续安装的 CNI 插件网段保持一致)。
  • --cri-socket:显式声明 containerd 的 UNIX Domain Socket,避免多运行时冲突。

C 静态 Pod (Static Pod) 机制深入剖析 ​

静态 Pod 是 Kubernetes 启动的核心“自举”利器:它完全由节点上的 kubelet 守护进程直接监控管理,不经由 API Server 控制器编排。

flow
[Master 节点 Kubelet] -> [本地文件目录 /etc/kubernetes/manifests]: Inotify 定期扫描
[本地文件目录 /etc/kubernetes/manifests] -> [apiserver.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [etcd.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [kube-scheduler.yaml]: 声明容器
[本地文件目录 /etc/kubernetes/manifests] -> [controller-manager.yaml]: 声明容器
[Master 节点 Kubelet] -> [Containerd 运行时]: 本地拉起 Static Pod
callout
1. **宿主强绑定**:静态 Pod 仅在其 YAML 文件所在的节点上运行,Kube-Scheduler 无法对其进行迁移与重新调度。
2. **只读镜像映射**:Kubelet 会向 API Server 注册一个同名的“影子 Pod(Mirror Pod)”,使得用户可以通过 `kubectl get pods -n kube-system` 观察其健康状态。
3. **不可通过 kubectl 删除**:在终端执行 `kubectl delete pod kube-apiserver-master`,Kubelet 会在毫秒级内自动读取本地 manifests 重建该 Pod;彻底销毁的唯一手段是移出该目录下的 YAML 文件。

D 容器运行时演进:Docker 废弃与 Containerd 直连 ​

在 Kubernetes 1.20 之前,Kubelet 通过 dockershim 转译对接 Docker Daemon,链路冗长(Kubelet -> dockershim -> dockerd -> containerd -> containerd-shim -> runc)。1.24 版本正式移除 dockershim 后,架构高度精简:

flow
[Kubelet] -> [Containerd]: CRI gRPC 接口直连
[Containerd] -> [containerd-shim]: 进程守护
[containerd-shim] -> [runc]: 启动业务容器
callout
- **调用层级减半**:削减了 Docker Daemon 这一中心化进程,消除单点故障与资源额外开销。
- **核心配置文件**:位于 `/etc/containerd/config.toml`。配置 `SystemdCgroup = true`,使节点资源计数器与操作系统 systemd 完全统一;内置 **Stream Server** 支持 `kubectl exec` 进入 Pod Shell,并通过 **CNI 插件**初始化容器网络。
- **标准输出日志与日志切割**:容器标准输出日志默认落盘在宿主机 `/var/log/pods/<namespace>_<pod_name>_<uid>/`。为防止业务日志无限增长撑爆宿主机磁盘,可在 Kubelet 配置(如 `/var/lib/kubelet/config.yaml` 或 `/usr/lib/systemd/system/kubelet.service.d/` 启动参数)中配置 `containerLogMaxSize`(如 `--container-log-max-size=100Mi`)与 `containerLogMaxFiles` 实现自动日志切割与上限控制。

E 容器客户端全景对照表:Docker vs CTR vs Nerdctl vs Crictl ​

面对不同的排障场景,工程师需要选用正确的客户端工具:

运维操作场景Docker CLI (传统)containerd ctr (底层调试)nerdctl (全功能替代 Docker)crictl (K8s CRI 专职排障)
查看运行容器docker psctr -n k8s.io c lsnerdctl -n k8s.io pscrictl ps
拉取容器镜像docker pull <img>ctr -n k8s.io i pull <img>nerdctl -n k8s.io pullcrictl pull <img>
查看所有镜像docker imagesctr -n k8s.io i lsnerdctl -n k8s.io imagescrictl images
进入容器交互终端docker exec -it <c> shctr -n k8s.io t exec --exec-id 1 -t <c> shnerdctl -n k8s.io exec -it <c> shcrictl exec -it <c> sh
查看 Pod 列表不支持 Pod 概念不支持 Pod 概念不支持 Pod 概念crictl pods
查看容器日志docker logs <c>无直接命令,需查本地日志文件nerdctl -n k8s.io logs <c>crictl logs <c>
容器指标监控docker statsctr -n k8s.io t metrics <c>nerdctl -n k8s.io topcrictl stats
镜像导入导出docker save / loadctr -n k8s.io i export / importnerdctl save / load不支持导出,仅专职 CRI 排障
查看任务进程树docker top <c>ctr -n k8s.io t ls / t ps <c>nerdctl top <c>crictl inspect <c>
callout
- `ctr` 和 `nerdctl` 必须携带 `-n k8s.io` 参数,否则默认操作的是 containerd 的 `default` 命名空间,无法看到由 Kubelet 创建的 Pod 容器。
- `crictl` 天然面向 Kubernetes CRI,无需传递命名空间参数,是生产排障的首选工具。

F 集群环境清理重置与重建 SOP ​

当集群网络冲突或证书失效需重置时,标准执行步骤如下:

bash
# 1. 所有节点执行 kubeadm 重置
sudo kubeadm reset -f --cri-socket=unix:///run/containerd/containerd.sock

# 2. 彻底清理残留 CNI 配置与虚拟网络设备
sudo rm -rf /etc/cni/net.d
sudo rm -rf /var/lib/cni/
sudo ip link delete cni0 2>/dev/null || true
sudo ip link delete flannel.1 2>/dev/null || true

# 3. Master 额外清除集群证书与 kubeconfig
rm -rf /etc/kubernetes/
rm -f ~/.kube/config

# 4. 重建集群:Master 重新 kubeadm init,应用 CNI,Worker 重新 kubeadm join

← 返回 Kubernetes 知识库总索引