Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

PromQL 时序查询语言与 Grafana 可视化实战

TSDB 时间序列模型、四大指标类型、长尾分布计算与节点资源公式推导

A

TSDB 时序数据模型与 PromQL 结果类型

理解 PromQL 报错与写法的关键,是先看清 Prometheus TSDB 底层是如何存储数据的。 在 TSDB 中,每一条时间序列由**指标名(Metric Name)+ 维度标签集(Labels)**唯一标识;横轴是时间戳(Timestamp),纵轴是浮点数值(Value):

唯一序列 Key指标名:node_cpu_seconds_total标签维度:instance=node01mode=idle时间序列标识 TimeSeries样本 Sample:@1700000015 -> 1842.5样本 Sample:@1700000030 -> 1857.1

PromQL 三大核心结果类型

初学者常遇到报错 expected type instant vector, got range vector,根源在于混淆了以下三种类型:

类型名称 形态与示例 核心特征与适用函数
瞬时向量 (Instant Vector) node_memory_MemFree_bytes{instance="node01"} 当前时间点(或指定时刻)每条时间序列对应的单一最新样本值。Grafana 折线图、告警阈值对比必须返回瞬时向量。
区间向量 (Range Vector) http_requests_total[5m] 或 node_cpu_seconds_total[1m] offset 5h 某时间窗口内(如过去 5 分钟,或 5 小时前的 5 分钟区间)的一串样本列表。不能直接画图,必须经过 rate()、increase() 等函数聚合为瞬时向量。
标量 (Scalar) 100 或 scalar(count(up)) 纯粹的单个数字常量,没有任何时间维度与标签维度。可用 scalar() 将单序列瞬时向量转为标量。
B

四大 Metric 数据类型与长尾分布治理

被监控端(Exporter 或业务代码)暴露指标时,必须声明其属于以下四种类型之一:

Counter (计数器)
只增不减的累加值(重启才清零),如请求总数 http_requests_total、CPU 累计耗时
Gauge (仪表盘)
可增可减的瞬时快照,如当前内存占用、Load Average、磁盘剩余空间
Histogram (直方图)
按预设区间桶 (le 边界) 统计样本落入次数,专治长尾延迟统计
Summary (摘要)
在客户端直接算好分位数 (如 P50/P99),开箱即用但无法跨实例求和

1. Counter 专属函数:rate vs irate vs increase

Counter 数值单调递增,直接看总和没有意义,工程中关心的是变化速率:

  • rate(m[5m]):取 5 分钟窗口内首尾变化量除以时间,计算平均每秒增长率。图像平滑,适合告警与长期趋势图。
  • irate(m[5m]):只取窗口内最后两个样本点计算瞬时速率。对突发毛刺极其敏感,适合高频排障看板,不适合直接配告警。
  • increase(m[1m]):直接算出 1 分钟窗口内的净增量(相当于 rate(m[1m]) * 60),自动处理进程重启导致的 Counter 归零重置问题。
  • topk(3, rate(http_requests_total[5m])):按速率排序取出排名前三的热点接口。

2. Gauge 趋势预测:predict_linear 实战

Gauge 可升可降,适合直接展示,更可以结合线性回归预测未来资源耗尽时间。例如 PDF 中内置的 24 小时满盘预警公式:

promql
# 依据过去 6 小时的可用磁盘字节数趋势,线性预测 24 小时 (24*60*60秒) 后是否会跌破 0predict_linear(node_filesystem_avail_bytes{job="node-exporter",fstype!="",mountpoint!=""}[6h], 24*60*60) < 0

3. 解决长尾分布问题:Histogram vs Summary 深度对比

均值(Average)极具欺骗性:99 个请求耗时 10ms,1 个慢请求耗时 10s,平均耗时依然好看,但那 1% 的用户已然卡死(长尾效应)。

对比维度 Histogram (直方图 · 推荐) Summary (摘要)
统计方式 预先划分桶边界(如 le="0.1", le="1", le="+Inf"),累计落入各桶的请求计数 客户端在内存中直接计算滑动窗口分位数(如 quantile="0.99")
多实例聚合 支持跨 Pod / 跨节点精确计算全局 P99(先 sum(...) by (le) 再 histogram_quantile) 无法跨实例聚合(对两个 Pod 的 P99 求平均在数学上完全错误)
服务端计算开销 查询时在 Prometheus 计算分位数,灵活性极高 客户端内存与 CPU 排序开销较大,分位点写死在代码中
promql
# 计算整个微服务集群所有 Pod 全局的 P99 请求延迟histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le))
C

PromQL 核心语法与生产经典公式推导

1. 标签过滤器与聚合算子

  • 四大标签匹配符(写在 {} 中):=(精确相等)、!=(不相等)、=~(正则匹配,如 severity=~"warning|info")、!~(正则不匹配)。
  • 聚合算子:sum、avg、max、min、count,配合 by (instance, namespace) 指定按哪些标签维度分组保留(或 without 剔除特定标签)。

2. 手把手推导:节点 CPU 使用率计算公式

很多同学对 Node CPU 使用率公式感到困惑,其实拆解成三步无比清晰:

1. 求各核 1 分钟空闲时间增量2. 按节点 instance 汇总除以总 CPU 时间增量3. 用 1 减去空闲占比即得CPU 使用率
promql
# 第 1 步:取出所有模式为 idle(空闲)的 CPU 在过去 1 分钟增加的秒数,按节点汇总sum(increase(node_cpu_seconds_total{mode="idle", instance="node01"}[1m])) by (instance)# 第 2 步:取出该节点全部 CPU 模式(user/system/iowait/idle等)在过去 1 分钟的总时间增量sum(increase(node_cpu_seconds_total{instance="node01"}[1m])) by (instance)# 第 3 步:1 - 空闲率 = 真实 CPU 使用率(乘以 100 即百分比)(1 - sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance)   / sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 100

3. 生产实战:节点真实内存使用率公式

在 Linux 中,Buffers 与 Cached 属于可随时回收的页缓存,计算真实业务内存占用率必须将它们加回“可用空闲池”:

promql
(  node_memory_MemTotal_bytes  - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100
D

Grafana 部署架构与 Dashboard 模板化实战

Grafana 作为下游可视化渲染引擎,负责将冰冷的 PromQL 结果转化为直观的多维监控仪表盘。

准备 NFS 存储服务配置 StorageClass +NFS Provisioner创建 Grafana PVC 持久化看板配置部署 Grafana Pod +NodePort Service添加 PrometheusService 为数据源导入官方模板 (如 3070)或编写变量化 PromQL
导入社区模板 vs 自定义变量模板
  1. 社区模板开箱即用:在 Grafana 访问 Dashboards -> Import,输入模板 ID(如 PDF 中监控 etcd 集群导入编号 3070,监控物理节点常导入 1860 Node Exporter Full),选择 Prometheus 数据源即可瞬间展示 DB Size、Disk Sync Duration、Memory、Client/Peer Traffic 等专业图表。
  2. 自定义变量化出图:编写面板 PromQL 时切忌写死 instance="192.168.71.101:2381"。应在 Dashboard 设置中添加 Variables(如通过 label_values(up, instance) 动态下拉获取所有节点列表),在查询中写为 {instance=~"$instance"},实现一套面板切换观察全集群所有节点!