Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub

Alertmanager 告警引擎、状态机与多渠道通知实战

告警三态流转、分组/静默/抑制降噪机制与钉钉/飞书/邮件配置排雷

A

职责边界:Prometheus 判警 vs Alertmanager 发警

初学者最常见的困惑之一,是分不清“阈值判断到底是谁做的”。在 Prometheus 生态中,判定与发送彻底解耦:

规则评估侧告警治理与投递侧周期执行 PromQL 表达式状态转为 Firing推送告警 JSON 事件TSDB 时序数据Prometheus Server(Rule Engine)判定触发并持续满足 for窗口Alertmanager (Router &Receiver)分组 / 静默 / 抑制降噪引擎钉钉 / 飞书 Webhook 网关SMTP 邮件服务器
B

告警规则编写与三态生命周期状态机

Prometheus 每一条告警都严格遵循 Inactive -> Pending -> Firing 的状态跃迁模型,绝非指标一瞬间超过阈值就发警报:

指标越过阈值在 for 观察期内指标回落恢复持续满足条件超过 for 时长 (如 2m)等待恢复后发送 ResolvedInactive (绿: 未触发)Pending (黄: 首次满足expr 条件)Firing (红: 正式触发告警)推送告警至 Alertmanager

1. 告警规则结构与防撞标签技巧

yaml
groups:- name: node-memory  rules:  - alert: NodeMemoryUsage    expr: |      (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes))      / node_memory_MemTotal_bytes * 100 > 20    for: 2m                          # 必须持续 2 分钟均超标才转为 Firing,消除毛刺误报    labels:      mywarn: egon-critical          # 技巧:使用独一无二的标签,避免被自带默认路由截胡    annotations:      summary: "{{ $labels.instance }}: High Memory usage detected"      description: "{{ $labels.instance }}: Memory is above 20% (current: {{ $value }})"
规则性能优化与标签防撞指南
  1. 避免重复计算(Recording Rules):当多条告警规则复用同一段复杂 PromQL(如全局 P99 聚合)时,应将其提取为预先计算规则(Recording Rule)保存为新指标变量,大幅减轻 TSDB 查询 CPU 压力。
  2. 自定义标签防截胡:在 kube-prometheus 等全家桶中,内置了大量默认 severity: critical 路由且往往设了 continue: false。业务自定义测试时若仍用 severity: critical,极易被前置路由吞掉导致收不到报警;改用独有标签(如 mywarn: egon-critical)即可精准命中目标接收器。
C

Alertmanager 三大核心降噪机制:分组、静默、抑制

如果不做治理,一台物理交换机故障会导致 100 台节点、1000 个 Pod 同时发警,瞬间淹没运维群。Alertmanager 依靠三大机制将告警风暴收敛为单一根因通知:

降噪机制 解决的核心痛点 核心配置字段与工作方式
分组 (Grouping) 同一时刻大量同类告警同时爆发,防止刷屏轰炸 通过 group_by 把同类告警打包;group_wait: 30s(收到第一条后等 30 秒攒一批合并发送);group_interval: 1m(同组新告警发送间隔);repeat_interval: 1m(未恢复告警重复提醒间隔)。
静默 (Silence) 已知发布变更、机房割接或维护窗口,暂时屏蔽报警 直接在 Alertmanager Web UI 创建静默规则:指定起止时间(或 Duration)+ 标签匹配表达式(支持点击 Preview 预览将被静默的现有告警)。
抑制 (Inhibition) 底层故障引发大量上层衍生报警,需要隐藏衍生噪音 在配置文件声明 inhibit_rules:设定 source_matchers(如 severity = critical)、target_matchers(如 severity =~ "warning|info")以及 equal: [namespace, alertname]。只要同作用域根因触发,自动压制低级别告警。
抑制 (Inhibition) 典型场景

某台物理机宕机(Source: NodeDown),该机器上 30 个微服务 Pod 随之报错(Target: PodNotReady)。只要两者带有相同的 instance 或 node 标签且被列入 equal,Alertmanager 只会推送一条“Node 宕机”,30 条衍生报警静默压制!

D

路由树匹配规则与 `continue: true` 致命陷阱

Alertmanager 使用树状 route 将不同标签的告警分发给不同团队或渠道(例如同时推送钉钉群与 QQ 邮箱):

false (默认行为)true进入根路由 route (兜底receiver: mywebhook)子路由 1: matchmywarn=egon-critical发送至钉钉 webhook子路由 1 是否设continue: true?匹配流程结束,不再往下走继续匹配子路由 2: matchmywarn=egon-critical发送至 Email 邮件
必踩坑点:根路由层级严禁使用 continue: true!

在编写 Alertmanager 配置文件时:

  • 子路由列表项(routes: 数组下的元素):必须设置 "continue": true,告警才能在触发钉钉后继续向下命中邮件路由,实现多渠道双发。
  • 根路由层级(顶级 route: 下直接属性):绝对不允许添加 "continue": true,因为顶层没有兄弟路由,配置后 Alertmanager 会直接解析报错拒绝启动!
E

实战配置:钉钉 / 飞书 Webhook 与 SMTP 邮件双通道

由于 Alertmanager 原生 Webhook 报文格式固定,钉钉/飞书机器人无法直接识别,因此生产中采用标准的 “Alertmanager -> Webhook 转换网关 -> 群机器人” 链路:

1. 部署钉钉/飞书 Webhook 转发网关 (prometheus-webhook-dingtalk)

yaml
# ConfigMap 同时管理告警模板 (template.tmpl) 与机器人配置 (config.yaml)apiVersion: v1kind: ConfigMapmetadata:  name: promoter-conf  namespace: monitordata:  template.tmpl: |    {{ define "default.tmpl" }}    {{- if gt (len .Alerts.Firing) 0 -}}    {{- range $index, $alert := .Alerts -}}    ============ **告警** ============    **告警名称:** {{ $alert.Labels.alertname }}    **告警级别:** {{ $alert.Labels.severity }}    **告警实例:** {{ $alert.Labels.instance }}    **告警详情:** {{ $alert.Annotations.description }}    **故障时间:** {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}    {{- end }}    {{- end }}    {{- if gt (len .Alerts.Resolved) 0 -}}    {{- range $index, $alert := .Alerts -}}    ============ **恢复** ============    **告警名称:** {{ .Labels.alertname }}    **恢复时间:** {{ ($alert.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}    {{- end }}    {{- end }}    {{- end }}  config.yaml: |    templates:      - /etc/promoter/template.tmpl    targets:      webhook1:        url: https://oapi.dingtalk.com/robot/send?access_token=<你的Token>        secret: <你的加签Secret>        message:          text: |            {{ template "default.tmpl" . }}            @186xxxxxxxx        mention:          mobiles: ['186xxxxxxxx']

注:模板中 StartsAt.Add 28800e9 是将 UTC 时间加上 28800 秒(8 小时),转换为北京时间(CST);飞书告警仅需将网关容器替换为飞书 Webhook 适配服务,Alertmanager 侧同样指向该 Service 端口即可。

2. Alertmanager 同时配置 Webhook 与 QQ/163 SMTP 邮件

yaml
# myself.conf 核心片段(注意:写入 K8s Secret 前需确保布尔值不加引号,键值规范)"global":  "resolve_timeout": "5m"  "smtp_smarthost": "smtp.qq.com:25"  "smtp_from": "378533872@qq.com"  "smtp_auth_username": "378533872@qq.com"  "smtp_auth_password": "<邮箱开启POP3/SMTP后获取的授权码>"  "smtp_hello": "qq.com"  "smtp_require_tls": false"route":  "group_wait": "30s"  "group_interval": "1m"  "repeat_interval": "1m"  "receiver": "mywebhook"  "routes":  - "matchers":    - "mywarn = egon-critical"    "receiver": "mywebhook"    "continue": true                  # 子路由允许继续向下匹配!  - "matchers":    - "mywarn = egon-critical"    "receiver": "email"    "continue": true"receivers":- "name": "mywebhook"  "webhook_configs":  - "url": "http://promoter.monitor:8080/dingtalk/webhook1/send"    "send_resolved": true             # 故障恢复时同样发送恢复通知- "name": "email"  "email_configs":  - "to": "378533872@qq.com"    "send_resolved": true
bash
# 使用 base64 -w0 单行编码后写入 K8s Secret(或直接在 Secret 中使用 stringData 明文提交)cat myself.conf | base64 -w0