Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

Kubernetes 集群部署实战与容器运行时全景

Kubeadm 生产建链、Static Pod 机制与 Containerd 运维工具链全景对比

A

集群安装方案选型与 Lima 虚拟化前置准备

Kubernetes 集群主流有两种部署方式:

  1. kubeadm 工具(官方强烈推荐):宿主机仅需通过 dnf/yum 安装 containerd 与 kubelet 两个系统服务,其余所有控制面组件(apiserver、etcd、scheduler、controller-manager)均以容器镜像形式由 kubeadm 自动拉起为 Static Pod(静态 Pod)。
  2. 二进制安装:手动下载或编译所有组件二进制包并逐个配置 systemd 服务与高可用证书联通,过程极其繁琐,生产中已不推荐。

以在 Mac mini M4 上通过 Lima 创建三台 Rocky Linux 9 ARM64 虚拟机(采用 user-v2 网络互联)搭建生产级实验集群(1 Master + 2 Worker)为例:

Master 节点
192.168.104.1 | 控制平面 Static Pod + containerd + kubelet
Node01 节点
192.168.104.3 | Worker 计算节点 (containerd + kubelet + kube-proxy)
Node02 节点
192.168.104.4 | Worker 计算节点 (containerd + kubelet + kube-proxy)
日常集群虚拟机启停管理
  • 日常可通过 limactl start / stop 启停三台虚拟机。
  • 虚拟机启动后,systemd 会自动拉起 containerd 与 kubelet 服务,随后 kubelet 自动扫描并恢复静态 Pod 控制平面,CoreDNS、Flannel 与业务 Pod 随之自动自愈恢复,无需再次执行 kubeadm init/join。
内核与系统参数关键配置命令

生产部署前必须严格执行以下四项系统层调整,否则 Kubelet 启动将抛出致命错误:

bash
# 1. 永久关闭 Swap 分区(Kubernetes 默认要求关闭内存置换以确保 QoS 调度精确)sudo swapoff -asudo sed -ri '/\sswap\s/s/^/#/' /etc/fstab# 2. 启用 overlay 与 br_netfilter 关键内核模块cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 3. 开启桥接网卡 IPv4 流量转发与 iptables 过滤cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOFsudo sysctl --system
B

Kubeadm 安装全生命周期流水线

kubeadm 是官方推荐的标准集群引导工具。它将控制平面核心组件(API Server、etcd、Controller Manager、Scheduler)全部封装为容器镜像,并由底层 Kubelet 引导为静态 Pod (Static Pod)。

节点初始化 prepare安装 containerd 与kubeletMaster 执行 kubeadminit部署 Flannel / CalicoCNIWorker 执行 kubeadmjoin集群就绪 All Ready
Kubeadm 初始化核心参数
sudo kubeadm init \
  --apiserver-advertise-address=192.168.104.1 \
  --image-repository=registry.aliyuncs.com/google_containers \
  --pod-network-cidr=10.244.0.0/16 \
  --cri-socket=unix:///run/containerd/containerd.sock
  • --pod-network-cidr:指定 Pod 分配的大网段(需与后续安装的 CNI 插件网段保持一致)。
  • --cri-socket:显式声明 containerd 的 UNIX Domain Socket,避免多运行时冲突。
C

静态 Pod (Static Pod) 机制深入剖析

静态 Pod 是 Kubernetes 启动的核心“自举”利器:它完全由节点上的 kubelet 守护进程直接监控管理,不经由 API Server 控制器编排。

Inotify 定期扫描声明容器声明容器声明容器声明容器本地拉起 Static PodMaster 节点 Kubelet本地文件目录/etc/kubernetes/manifestsapiserver.yamletcd.yamlkube-scheduler.yamlcontroller-manager.yamlContainerd 运行时
静态 Pod 核心行为特征
  1. 宿主强绑定:静态 Pod 仅在其 YAML 文件所在的节点上运行,Kube-Scheduler 无法对其进行迁移与重新调度。
  2. 只读镜像映射:Kubelet 会向 API Server 注册一个同名的“影子 Pod(Mirror Pod)”,使得用户可以通过 kubectl get pods -n kube-system 观察其健康状态。
  3. 不可通过 kubectl 删除:在终端执行 kubectl delete pod kube-apiserver-master,Kubelet 会在毫秒级内自动读取本地 manifests 重建该 Pod;彻底销毁的唯一手段是移出该目录下的 YAML 文件。
D

容器运行时演进:Docker 废弃与 Containerd 直连

在 Kubernetes 1.20 之前,Kubelet 通过 dockershim 转译对接 Docker Daemon,链路冗长(Kubelet -> dockershim -> dockerd -> containerd -> containerd-shim -> runc)。1.24 版本正式移除 dockershim 后,架构高度精简:

CRI gRPC 接口直连进程守护启动业务容器KubeletContainerdcontainerd-shimrunc
架构精简收益与 Containerd 核心配置
  • 调用层级减半:削减了 Docker Daemon 这一中心化进程,消除单点故障与资源额外开销。
  • 核心配置文件:位于 /etc/containerd/config.toml。配置 SystemdCgroup = true,使节点资源计数器与操作系统 systemd 完全统一;内置 Stream Server 支持 kubectl exec 进入 Pod Shell,并通过 CNI 插件初始化容器网络。
  • 标准输出日志与日志切割:容器标准输出日志默认落盘在宿主机 /var/log/pods/<namespace>_<pod_name>_<uid>/。为防止业务日志无限增长撑爆宿主机磁盘,可在 Kubelet 配置(如 /var/lib/kubelet/config.yaml 或 /usr/lib/systemd/system/kubelet.service.d/ 启动参数)中配置 containerLogMaxSize(如 --container-log-max-size=100Mi)与 containerLogMaxFiles 实现自动日志切割与上限控制。
E

容器客户端全景对照表:Docker vs CTR vs Nerdctl vs Crictl

面对不同的排障场景,工程师需要选用正确的客户端工具:

运维操作场景 Docker CLI (传统) containerd ctr (底层调试) nerdctl (全功能替代 Docker) crictl (K8s CRI 专职排障)
查看运行容器 docker ps ctr -n k8s.io c ls nerdctl -n k8s.io ps crictl ps
拉取容器镜像 docker pull <img> ctr -n k8s.io i pull <img> nerdctl -n k8s.io pull crictl pull <img>
查看所有镜像 docker images ctr -n k8s.io i ls nerdctl -n k8s.io images crictl images
进入容器交互终端 docker exec -it <c> sh ctr -n k8s.io t exec --exec-id 1 -t <c> sh nerdctl -n k8s.io exec -it <c> sh crictl exec -it <c> sh
查看 Pod 列表 不支持 Pod 概念 不支持 Pod 概念 不支持 Pod 概念 crictl pods
查看容器日志 docker logs <c> 无直接命令,需查本地日志文件 nerdctl -n k8s.io logs <c> crictl logs <c>
容器指标监控 docker stats ctr -n k8s.io t metrics <c> nerdctl -n k8s.io top crictl stats
镜像导入导出 docker save / load ctr -n k8s.io i export / import nerdctl save / load 不支持导出,仅专职 CRI 排障
查看任务进程树 docker top <c> ctr -n k8s.io t ls / t ps <c> nerdctl top <c> crictl inspect <c>
命名空间差异警告
  • ctr 和 nerdctl 必须携带 -n k8s.io 参数,否则默认操作的是 containerd 的 default 命名空间,无法看到由 Kubelet 创建的 Pod 容器。
  • crictl 天然面向 Kubernetes CRI,无需传递命名空间参数,是生产排障的首选工具。
F

集群环境清理重置与重建 SOP

当集群网络冲突或证书失效需重置时,标准执行步骤如下:

bash
# 1. 所有节点执行 kubeadm 重置sudo kubeadm reset -f --cri-socket=unix:///run/containerd/containerd.sock# 2. 彻底清理残留 CNI 配置与虚拟网络设备sudo rm -rf /etc/cni/net.dsudo rm -rf /var/lib/cni/sudo ip link delete cni0 2>/dev/null || truesudo ip link delete flannel.1 2>/dev/null || true# 3. Master 额外清除集群证书与 kubeconfigrm -rf /etc/kubernetes/rm -f ~/.kube/config# 4. 重建集群:Master 重新 kubeadm init,应用 CNI,Worker 重新 kubeadm join