Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
监控理论与 Prometheus 核心采集架构全景
黑白盒监控理念、Pull 拉取模型、Service Discovery 与 K8s 全栈指标采集版图
监控理论基石:黑盒监控 vs 白盒监控
构建云原生可观测性体系之前,必须先厘清两种互补的监控视角与监控的核心使命:
- 黑盒监控 (Black-box)
- 不关心系统内部构造,站在用户视角从外部探测服务是否可用(如 HTTP 探针、TCP 端口检测、Ping),目的是早于用户先发现故障
- 白盒监控 (White-box)
- 深入系统或应用内部,采集 CPU、内存、线程池、队列堆积、QPS 与耗时分布等 Metric 指标,目的是防患于未然、支撑趋势预测与根因定位
企业级监控系统的五大核心目的
- 长期趋势分析:通过数周至数月的资源水位曲线,精准预测未来机器与存储扩容窗口。
- 故障根因定位:发生线上雪崩时,回溯历史 CPU、内存、GC 与网络指标,快速锁定病灶。
- 版本对照分析:灰度或版本发布前后,直观对比新老版本的错误率、延迟与资源消耗差异。
- 主动告警通知:指标触及预设阈值时,第一时间通过钉钉、飞书或邮件通知运维介入止损。
- 全局态势感知:实时掌握物理节点、容器运行时与微服务的整体健康度。
Prometheus 核心架构与 Pull 数据流全景
与传统的 Push 推送式监控(如 Zabbix Agent 主动上报)不同,Prometheus 是一套基于 Pull(拉取)模型的云原生时序监控系统。
| 核心组件 | 角色定位 | 关键工作原理与适用边界 |
|---|---|---|
| Targets | 被监控实体 | 任何通过 HTTP /metrics 路径返回文本格式指标的目标(如 Node、Pod、MySQL、CoreDNS)。 |
| Exporter | 指标翻译导出器 | 针对自身不暴露 /metrics 的软件(如 Linux 内核、Redis、MySQL),读取其内部状态并转换为 Prometheus 规范格式(如 node_exporter、redis_exporter)。 |
| Pushgateway | 短任务推送中转站 | 专治 K8s Job 等“跑完即销毁”的短生命周期任务,避免任务退出后 Prometheus 还没来得及拉取就丢失数据;任务结束前主动 Push 给网关。 |
| Service Discovery | 动态服务发现 | 通过 K8s API 实时发现新增/销毁的 Pod、Service、Endpoints 和 Node,彻底告别手工改静态 IP 列表。 |
| Prometheus Server | 采集与存储大脑 | 包含 Retrieval(拉取)、TSDB(时序库)和 HTTP Server(PromQL 评估与告警判定)三大模块。 |
| Alertmanager | 告警分发路由器 | 接收 Prometheus 触发的告警,负责分组、去重、静默、抑制,并路由到钉钉、飞书、邮件或 Webhook。 |
Prometheus 部署形态与动态热更新实战
1. 二进制部署 vs Kubernetes 原生部署
- 二进制部署:解压启动
prometheus进程,通过修改prometheus.yml中的scrape_configs新增静态job_name与targets: ['ip:port'];只要目标实现了/metrics接口,即可周期拉取并附加自定义标签。 - Kubernetes 部署关键步骤与避坑点:
K8s 部署 Prometheus 的两个经典坑点
- 权限拒绝 (Permission Denied):挂载持久化存储卷(PV/PVC)写入 TSDB 时,官方镜像默认以非 root 用户(UID 65534
nobody)运行,常因宿主机目录权限不足启动失败。需在 Pod Spec 中配置securityContext: { runAsUser: 0 }(或fsGroup)解决。 - 配置热更新失效:修改完 ConfigMap 后,Kubelet 同步挂载文件约需几十秒,且 Prometheus 不会自动重载;必须在启动参数开启
--web.enable-lifecycle,随后执行curl -X POST http://<ip>:<port>/-/reload(或向进程发SIGHUP)触发无损热加载。
监控 Target 接入方式与 Service Discovery 机制
针对不同形态的被监控对象,Prometheus 提供了“静态手工配置”与“基于注解/标签的服务发现”两条路径:
| 目标形态 | 推荐接入模式 | 具体实施方法 |
|---|---|---|
自带 /metrics 的服务 |
直接采集或 SD | 如 CoreDNS、etcd、API Server,原生即暴露指标端口,直接抓取即可。 |
| 传统软件(非容器) | 独立 Exporter | 在宿主机部署 redis_exporter / mysqld_exporter 系统服务,暴露 ip:port/metrics 写入 scrape_configs。 |
| K8s 业务 Pod 内部应用 | Sidecar 边车模式 | 在业务 Pod 内伴生启动一个 Exporter 容器(共享 Localhost 网络读取业务端口),再通过 Service 暴露给 Prometheus 自动发现。 |
| K8s 物理节点 | DaemonSet | 使用 DaemonSet 在每个 Node 跑 node_exporter Pod(配置 hostNetwork: true 与 hostPID: true,只读挂载 /proc、/sys、/)。 |
自动发现核心技巧:Annotation 过滤与 Relabel 重标记
- 注解过滤:在 Service 或 Pod 的
metadata.annotations中添加prometheus.io/scrape: "true"与prometheus.io/port: "9100"。Prometheus 通过 K8s Service Discovery 拉取全量目标后,利用relabel_configs(采集前动态改写标签)保留带该注解的端点并剔除其余端点,免去手工维护之苦。 - 权限凭证:当 Prometheus 自动发现 Kubelet、API Server 或 Node 时,必须为其 Pod 绑定拥有
get/list/watch权限的 ServiceAccount,否则请求 API Server 会被 403 拒绝。
K8s 全栈指标采集版图(最易混淆概念深度辨析)
Kubernetes 集群监控涉及四个截然不同的层次,初学者最容易把 cAdvisor、node_exporter、metrics-server 和 kube-state-metrics 混为一谈:
Kubernetes 全栈四层指标来源
- 1. 节点硬件与内核层node_exporter (DaemonSet):采集宿主机 CPU、内存、磁盘 IO、文件系统与网卡流量
- 2. 容器资源实况层cAdvisor (内置于 Kubelet 10250 端口):采集每个容器实时消耗的 CPU、内存、网络与文件系统用量
- 3. K8s 资源对象状态层kube-state-metrics (独立 Pod):监听 API Server,统计 Deployment 期望 vs 实际副本、Pod Running/Pending 数、重启次数、Job 状态
- 4. 集群核心控制面层API Server / Scheduler / Controller Manager / etcd / CoreDNS 自身暴露的 /metrics
1. 必考辨析:kube-state-metrics vs Metrics Server
| 对比维度 | Metrics Server | kube-state-metrics |
|---|---|---|
| 核心职责 | 仅采集 Node 与 Pod 的实时 CPU 和内存用量 | 监听 K8s API,将资源对象的编排状态与元数据转化为 Metric |
| 数据存储 | 仅保存在内存中(无历史持久化) | 暴露 /metrics 接口,由 Prometheus 抓取并长期存入 TSDB |
| 典型消费者 | HPA 弹性扩缩容控制器、kubectl top 命令 |
Prometheus 告警规则与 Grafana 看板(如监控 Pod 频繁重启、副本缺口) |
2. 控制面静态组件的监控痛点与解法
为什么 API Server 能自动发现,而 etcd / Scheduler / Controller-Manager 却不行?
- API Server:集群在
default命名空间默认创建了名为kubernetes的 Service 和 Endpoints,Prometheus 基于role: endpoints即可直接过滤抓到。 - etcd / Scheduler / Controller-Manager:它们以 Static Pod 形态运行,默认只监听
127.0.0.1回环地址,且没有任何 Service 与之关联! - 标准解法:
- 修改对应静态 Pod 清单,将监听地址改为
0.0.0.0(如 etcd 修改--listen-metrics-urls=http://0.0.0.0:2381)。 - 手工创建一个无 Selector 的 Headless Service(
clusterIP: None)和同名同标签的Endpoints(显式填入各 Master IP 与指标端口),即可无缝纳入自动发现。
- 修改对应静态 Pod 清单,将监听地址改为