AlertManager not sending alerts for certain metrics from custom exporter

Posté par margot64 le 23/05/2024

RÉSOLU

Membre depuis le 26/05/2019

Hello la compagnie j'ai un souci avec Prometheus/AlertManager. On a un custom exporter qui remonte bien des métriques prometheus voit les scrapes et grafana affiche bien tout. Mais pour certaines règles d'alerte basées sur ces métriques AlertManager n'envoie rien. D'autres règles pour d'autres exporters fonctionnent nickel. J'ai l'impression qu'il y a un truc qui cloche dans mon `rule.yaml` ou `alertmanager.yaml`

# Exemple de règle qui ne marche pas
- alert: MyCustomMetricHigh
  expr: my_custom_metric_gauge > 0.9
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Custom metric {{ $labels.instance }} est trop haute"

23/05/24

Commentaires

marguerite43

Membre depuis le 17/04/2020

et ton `alertname` dans les labels de la règle est important pour le routage. t'as bien un `match:` ou `match_re:` dans alertmanager qui correspond à `alertname: MyCustomMetricHigh` ?

02/06/24

margot64

Membre depuis le 26/05/2019

ok les gars c'était une combinaison de trucs comme d'hab. première chose ma règle prometheus avait un `alertname` qui était en fait `custommetrichigh` et pas `mycustommetrichigh` (faute de frappe en recopiant la doc). et dans alertmanager ma route était trop spécifique elle attendait `severity: critical` (avec un c majuscule) alors que j'envoyais `severity: critical` (c minuscule). une fois corrigé les deux alertes sont parties. merci pour toutes les pistes !

02/06/24

Retour