Alertmanager silence pas pris en compte pour metric absente

Question

yo la team j'ai un souci avec alertmanager on a une alerte qui se déclenche quand une métrique est absente genre node_exporter_up si le node_exporter est down
j'ai mis un silence pour une ip spécifique (genre instance="10.0.0.42") mais même avec le silence l'alerte continue de flapper quand la métrique est absente pour cette instance. c'est quoi le deal ? j'ai loupé un truc ?
# partie de mon fichier silence
matchers:
  - name: instance
    value: "10.0.0.42"
    isRegex: false
  - name: alertname
    value: "HostDown"
    isRegex: false

crenaud · Answer

salut ! vérifie que ton label instance dans l'alerte générée par prometheus est bien exactement instance="10.0.0.42" et pas un truc du genre instance="10.0.0.42:9100" ou autre. les matchers doivent être exacts. et t'as check si l'alerte n'est pas déjà dans un état firing avant que le silence soit appliqué ? des fois ça prend un peu de temps pour que alertmanager se mette à jour

aurore-martineau · Answer

ouais et attention aux alertes absent. si ta règle prometheus c'est absent(node_exporter_up{instance="10.0.0.42"}) ça génère pas toujours les mêmes labels qu'une alerte classique. regarde bien l'objet alerte brut dans alertmanager pour voir tous les labels et matcher sur ceux qui sont vraiment là
aussi le for: duration si ton alerte reste pending mais pas firing elle sera pas matchée par un silence qui ne s'applique qu'aux alertes firing

michaud-antoine · Answer

ok merci pour les pistes les gars ! j'ai re-checké les labels dans alertmanager et y'avait un job="node-exporter" en plus que j'avais pas mis dans mon silence. une fois ajouté ça marche nickel. merci encore !

Alertmanager silence pas pris en compte pour metric absente

Commentaires

Laisser une réponse

Faciliter le déploiements k8s avec Kustomize

Souveraineté Numérique & DevOps : Maîtrisez le Contrôle de Vos Données

Comment installer et configurer votre propre serveur GitLab

Rejoindre la communauté