Sujet :
Alertmanager silence pas pris en compte pour metric absente
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 04/05/2024
yo la team j'ai un souci avec alertmanager on a une alerte qui se déclenche quand une métrique est absente genre node_exporter_up si le node_exporter est down
j'ai mis un silence pour une ip spécifique (genre instance="10.0.0.42") mais même avec le silence l'alerte continue de flapper quand la métrique est absente pour cette instance. c'est quoi le deal ? j'ai loupé un truc ?
# partie de mon fichier silence
matchers:
- name: instance
value: "10.0.0.42"
isRegex: false
- name: alertname
value: "HostDown"
isRegex: false
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
crenaud
Membre depuis le 26/04/2024
salut ! vérifie que ton label
instancedans l'alerte générée par prometheus est bien exactementinstance="10.0.0.42"et pas un truc du genreinstance="10.0.0.42:9100"ou autre. les matchers doivent être exacts. et t'as check si l'alerte n'est pas déjà dans un étatfiringavant que le silence soit appliqué ? des fois ça prend un peu de temps pour que alertmanager se mette à jouraurore-martineau
Membre depuis le 01/05/2024
ouais et attention aux alertes
absent. si ta règle prometheus c'estabsent(node_exporter_up{instance="10.0.0.42"})ça génère pas toujours les mêmes labels qu'une alerte classique. regarde bien l'objet alerte brut dans alertmanager pour voir tous les labels et matcher sur ceux qui sont vraiment làaussi le
for:duration si ton alerte restependingmais pasfiringelle sera pas matchée par un silence qui ne s'applique qu'aux alertesfiringmichaud-antoine
Membre depuis le 04/05/2024
ok merci pour les pistes les gars ! j'ai re-checké les labels dans alertmanager et y'avait un
job="node-exporter"en plus que j'avais pas mis dans mon silence. une fois ajouté ça marche nickel. merci encore !