Generated by Answer me with HTML 0.6.1 · 2026-11-18 23:57 · ★ Star on GitHub
Alertmanager 告警引擎、状态机与多渠道通知实战
告警三态流转、分组/静默/抑制降噪机制与钉钉/飞书/邮件配置排雷
职责边界:Prometheus 判警 vs Alertmanager 发警
初学者最常见的困惑之一,是分不清“阈值判断到底是谁做的”。在 Prometheus 生态中,判定与发送彻底解耦:
告警规则编写与三态生命周期状态机
Prometheus 每一条告警都严格遵循 Inactive -> Pending -> Firing 的状态跃迁模型,绝非指标一瞬间超过阈值就发警报:
1. 告警规则结构与防撞标签技巧
groups:- name: node-memory rules: - alert: NodeMemoryUsage expr: | (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100 > 20 for: 2m # 必须持续 2 分钟均超标才转为 Firing,消除毛刺误报 labels: mywarn: egon-critical # 技巧:使用独一无二的标签,避免被自带默认路由截胡 annotations: summary: "{{ $labels.instance }}: High Memory usage detected" description: "{{ $labels.instance }}: Memory is above 20% (current: {{ $value }})"- 避免重复计算(Recording Rules):当多条告警规则复用同一段复杂 PromQL(如全局 P99 聚合)时,应将其提取为预先计算规则(Recording Rule)保存为新指标变量,大幅减轻 TSDB 查询 CPU 压力。
- 自定义标签防截胡:在
kube-prometheus等全家桶中,内置了大量默认severity: critical路由且往往设了continue: false。业务自定义测试时若仍用severity: critical,极易被前置路由吞掉导致收不到报警;改用独有标签(如mywarn: egon-critical)即可精准命中目标接收器。
Alertmanager 三大核心降噪机制:分组、静默、抑制
如果不做治理,一台物理交换机故障会导致 100 台节点、1000 个 Pod 同时发警,瞬间淹没运维群。Alertmanager 依靠三大机制将告警风暴收敛为单一根因通知:
| 降噪机制 | 解决的核心痛点 | 核心配置字段与工作方式 |
|---|---|---|
| 分组 (Grouping) | 同一时刻大量同类告警同时爆发,防止刷屏轰炸 | 通过 group_by 把同类告警打包;group_wait: 30s(收到第一条后等 30 秒攒一批合并发送);group_interval: 1m(同组新告警发送间隔);repeat_interval: 1m(未恢复告警重复提醒间隔)。 |
| 静默 (Silence) | 已知发布变更、机房割接或维护窗口,暂时屏蔽报警 | 直接在 Alertmanager Web UI 创建静默规则:指定起止时间(或 Duration)+ 标签匹配表达式(支持点击 Preview 预览将被静默的现有告警)。 |
| 抑制 (Inhibition) | 底层故障引发大量上层衍生报警,需要隐藏衍生噪音 | 在配置文件声明 inhibit_rules:设定 source_matchers(如 severity = critical)、target_matchers(如 severity =~ "warning|info")以及 equal: [namespace, alertname]。只要同作用域根因触发,自动压制低级别告警。 |
某台物理机宕机(Source: NodeDown),该机器上 30 个微服务 Pod 随之报错(Target: PodNotReady)。只要两者带有相同的 instance 或 node 标签且被列入 equal,Alertmanager 只会推送一条“Node 宕机”,30 条衍生报警静默压制!
路由树匹配规则与 `continue: true` 致命陷阱
Alertmanager 使用树状 route 将不同标签的告警分发给不同团队或渠道(例如同时推送钉钉群与 QQ 邮箱):
在编写 Alertmanager 配置文件时:
- 子路由列表项(
routes:数组下的元素):必须设置"continue": true,告警才能在触发钉钉后继续向下命中邮件路由,实现多渠道双发。 - 根路由层级(顶级
route:下直接属性):绝对不允许添加"continue": true,因为顶层没有兄弟路由,配置后 Alertmanager 会直接解析报错拒绝启动!
实战配置:钉钉 / 飞书 Webhook 与 SMTP 邮件双通道
由于 Alertmanager 原生 Webhook 报文格式固定,钉钉/飞书机器人无法直接识别,因此生产中采用标准的 “Alertmanager -> Webhook 转换网关 -> 群机器人” 链路:
1. 部署钉钉/飞书 Webhook 转发网关 (prometheus-webhook-dingtalk)
# ConfigMap 同时管理告警模板 (template.tmpl) 与机器人配置 (config.yaml)apiVersion: v1kind: ConfigMapmetadata: name: promoter-conf namespace: monitordata: template.tmpl: | {{ define "default.tmpl" }} {{- if gt (len .Alerts.Firing) 0 -}} {{- range $index, $alert := .Alerts -}} ============ **告警** ============ **告警名称:** {{ $alert.Labels.alertname }} **告警级别:** {{ $alert.Labels.severity }} **告警实例:** {{ $alert.Labels.instance }} **告警详情:** {{ $alert.Annotations.description }} **故障时间:** {{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} {{- end }} {{- end }} {{- if gt (len .Alerts.Resolved) 0 -}} {{- range $index, $alert := .Alerts -}} ============ **恢复** ============ **告警名称:** {{ .Labels.alertname }} **恢复时间:** {{ ($alert.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} {{- end }} {{- end }} {{- end }} config.yaml: | templates: - /etc/promoter/template.tmpl targets: webhook1: url: https://oapi.dingtalk.com/robot/send?access_token=<你的Token> secret: <你的加签Secret> message: text: | {{ template "default.tmpl" . }} @186xxxxxxxx mention: mobiles: ['186xxxxxxxx']注:模板中
StartsAt.Add 28800e9是将 UTC 时间加上 秒(8 小时),转换为北京时间(CST);飞书告警仅需将网关容器替换为飞书 Webhook 适配服务,Alertmanager 侧同样指向该 Service 端口即可。
2. Alertmanager 同时配置 Webhook 与 QQ/163 SMTP 邮件
# myself.conf 核心片段(注意:写入 K8s Secret 前需确保布尔值不加引号,键值规范)"global": "resolve_timeout": "5m" "smtp_smarthost": "smtp.qq.com:25" "smtp_from": "378533872@qq.com" "smtp_auth_username": "378533872@qq.com" "smtp_auth_password": "<邮箱开启POP3/SMTP后获取的授权码>" "smtp_hello": "qq.com" "smtp_require_tls": false"route": "group_wait": "30s" "group_interval": "1m" "repeat_interval": "1m" "receiver": "mywebhook" "routes": - "matchers": - "mywarn = egon-critical" "receiver": "mywebhook" "continue": true # 子路由允许继续向下匹配! - "matchers": - "mywarn = egon-critical" "receiver": "email" "continue": true"receivers":- "name": "mywebhook" "webhook_configs": - "url": "http://promoter.monitor:8080/dingtalk/webhook1/send" "send_resolved": true # 故障恢复时同样发送恢复通知- "name": "email" "email_configs": - "to": "378533872@qq.com" "send_resolved": true# 使用 base64 -w0 单行编码后写入 K8s Secret(或直接在 Secret 中使用 stringData 明文提交)cat myself.conf | base64 -w0