Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
PromQL 时序查询语言与 Grafana 可视化实战
TSDB 时间序列模型、四大指标类型、长尾分布计算与节点资源公式推导
TSDB 时序数据模型与 PromQL 结果类型
理解 PromQL 报错与写法的关键,是先看清 Prometheus TSDB 底层是如何存储数据的。 在 TSDB 中,每一条时间序列由**指标名(Metric Name)+ 维度标签集(Labels)**唯一标识;横轴是时间戳(Timestamp),纵轴是浮点数值(Value):
PromQL 三大核心结果类型
初学者常遇到报错 expected type instant vector, got range vector,根源在于混淆了以下三种类型:
| 类型名称 | 形态与示例 | 核心特征与适用函数 |
|---|---|---|
| 瞬时向量 (Instant Vector) | node_memory_MemFree_bytes{instance="node01"} |
当前时间点(或指定时刻)每条时间序列对应的单一最新样本值。Grafana 折线图、告警阈值对比必须返回瞬时向量。 |
| 区间向量 (Range Vector) | http_requests_total[5m] 或 node_cpu_seconds_total[1m] offset 5h |
某时间窗口内(如过去 5 分钟,或 5 小时前的 5 分钟区间)的一串样本列表。不能直接画图,必须经过 rate()、increase() 等函数聚合为瞬时向量。 |
| 标量 (Scalar) | 100 或 scalar(count(up)) |
纯粹的单个数字常量,没有任何时间维度与标签维度。可用 scalar() 将单序列瞬时向量转为标量。 |
四大 Metric 数据类型与长尾分布治理
被监控端(Exporter 或业务代码)暴露指标时,必须声明其属于以下四种类型之一:
- Counter (计数器)
- 只增不减的累加值(重启才清零),如请求总数 http_requests_total、CPU 累计耗时
- Gauge (仪表盘)
- 可增可减的瞬时快照,如当前内存占用、Load Average、磁盘剩余空间
- Histogram (直方图)
- 按预设区间桶 (le 边界) 统计样本落入次数,专治长尾延迟统计
- Summary (摘要)
- 在客户端直接算好分位数 (如 P50/P99),开箱即用但无法跨实例求和
1. Counter 专属函数:rate vs irate vs increase
Counter 数值单调递增,直接看总和没有意义,工程中关心的是变化速率:
rate(m[5m]):取 5 分钟窗口内首尾变化量除以时间,计算平均每秒增长率。图像平滑,适合告警与长期趋势图。irate(m[5m]):只取窗口内最后两个样本点计算瞬时速率。对突发毛刺极其敏感,适合高频排障看板,不适合直接配告警。increase(m[1m]):直接算出 1 分钟窗口内的净增量(相当于rate(m[1m]) * 60),自动处理进程重启导致的 Counter 归零重置问题。topk(3, rate(http_requests_total[5m])):按速率排序取出排名前三的热点接口。
2. Gauge 趋势预测:predict_linear 实战
Gauge 可升可降,适合直接展示,更可以结合线性回归预测未来资源耗尽时间。例如 PDF 中内置的 24 小时满盘预警公式:
# 依据过去 6 小时的可用磁盘字节数趋势,线性预测 24 小时 (24*60*60秒) 后是否会跌破 0predict_linear(node_filesystem_avail_bytes{job="node-exporter",fstype!="",mountpoint!=""}[6h], 24*60*60) < 03. 解决长尾分布问题:Histogram vs Summary 深度对比
均值(Average)极具欺骗性:99 个请求耗时 10ms,1 个慢请求耗时 10s,平均耗时依然好看,但那 1% 的用户已然卡死(长尾效应)。
| 对比维度 | Histogram (直方图 · 推荐) | Summary (摘要) |
|---|---|---|
| 统计方式 | 预先划分桶边界(如 le="0.1", le="1", le="+Inf"),累计落入各桶的请求计数 |
客户端在内存中直接计算滑动窗口分位数(如 quantile="0.99") |
| 多实例聚合 | 支持跨 Pod / 跨节点精确计算全局 P99(先 sum(...) by (le) 再 histogram_quantile) |
无法跨实例聚合(对两个 Pod 的 P99 求平均在数学上完全错误) |
| 服务端计算开销 | 查询时在 Prometheus 计算分位数,灵活性极高 | 客户端内存与 CPU 排序开销较大,分位点写死在代码中 |
# 计算整个微服务集群所有 Pod 全局的 P99 请求延迟histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le))PromQL 核心语法与生产经典公式推导
1. 标签过滤器与聚合算子
- 四大标签匹配符(写在
{}中):=(精确相等)、!=(不相等)、=~(正则匹配,如severity=~"warning|info")、!~(正则不匹配)。 - 聚合算子:
sum、avg、max、min、count,配合by (instance, namespace)指定按哪些标签维度分组保留(或without剔除特定标签)。
2. 手把手推导:节点 CPU 使用率计算公式
很多同学对 Node CPU 使用率公式感到困惑,其实拆解成三步无比清晰:
# 第 1 步:取出所有模式为 idle(空闲)的 CPU 在过去 1 分钟增加的秒数,按节点汇总sum(increase(node_cpu_seconds_total{mode="idle", instance="node01"}[1m])) by (instance)# 第 2 步:取出该节点全部 CPU 模式(user/system/iowait/idle等)在过去 1 分钟的总时间增量sum(increase(node_cpu_seconds_total{instance="node01"}[1m])) by (instance)# 第 3 步:1 - 空闲率 = 真实 CPU 使用率(乘以 100 即百分比)(1 - sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance) / sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 1003. 生产实战:节点真实内存使用率公式
在 Linux 中,Buffers 与 Cached 属于可随时回收的页缓存,计算真实业务内存占用率必须将它们加回“可用空闲池”:
( node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100Grafana 部署架构与 Dashboard 模板化实战
Grafana 作为下游可视化渲染引擎,负责将冰冷的 PromQL 结果转化为直观的多维监控仪表盘。
导入社区模板 vs 自定义变量模板
- 社区模板开箱即用:在 Grafana 访问
Dashboards -> Import,输入模板 ID(如 PDF 中监控 etcd 集群导入编号3070,监控物理节点常导入1860Node Exporter Full),选择 Prometheus 数据源即可瞬间展示DB Size、Disk Sync Duration、Memory、Client/Peer Traffic等专业图表。 - 自定义变量化出图:编写面板 PromQL 时切忌写死
instance="192.168.71.101:2381"。应在 Dashboard 设置中添加 Variables(如通过label_values(up, instance)动态下拉获取所有节点列表),在查询中写为{instance=~"$instance"},实现一套面板切换观察全集群所有节点!