prometheus alertmanager silence pas pris en compte

Question

yop tout le monde. j'ai un alertmanager qui me rend fou. j'ai mis en place un silence pour une alerte spécifique histoire de pas être spammé pendant une maintenance mais je reçois quand même les notifs. le silence est actif dans l'ui d'alertmanager et les labels matchent pourtant. je pige pas

joseph79 · Answer

salut. t'es sûr que tes sélecteurs de silence matchent EXACTEMENT les labels de l'alerte ? le moindre caractère différent ou une majuscule/minuscule qui change et ça matchera pas. regarde les labels exacts de l'alerte qui t'arrive dans l'ui d'alertmanager et compare avec ton silence config

margaret80 · Answer

et ton silence a bien une période valide ? pas expiré ou démarrant plus tard ? des fois on se fait avoir avec les fuseaux horaires aussi si le serveur alertmanager est pas sur la même config que toi

gvaillant · Answer

@user_key_2 ouais j'ai copié-collé les labels de l'alerte active dans l'ui. c'est ça qui est bizarre. le silence est actif jusqu'à demain matin donc pas de souci de date. voici ma config de silence
# silence configuration in alertmanager ui
matchers:
  - name: alertname
    value: highcpuusage
    isregex: false
  - name: instance
    value: webserver-01
    isregex: false
  - name: environment
    value: prod
    isregex: false
startsat: "2023-10-26t10:00:00z"
endsat: "2023-10-27t10:00:00z"
createdby: "user1"
comment: "maintenance on webserver-01"

joseph79 · Answer

hmm. "environment: prod" est bien le label exact de ton alerte ? pas "env: prod" ou "environnement: production" ? c'est hyper sensible aux exact match. sinon tu peux essayer avec isRegex: true et mettre une regex simple pour voir si c'est le match qui déconne

margaret80 · Answer

check aussi si y'a pas un autre silence plus général qui pourrait overrider le tien ou si l'alerte est résolue et puis ré-émise avec des labels différents. ça arrive des fois si le scrape interval est court

gvaillant · Answer

PUTAIN de bordel c'était ça ! j'avais "env: prod" sur l'alerte et "environment: prod" dans le silence. quelle connerie ! les majuscules et le e manquant. merci @user_key_2 pour l'œil de lynx. c réglé

prometheus alertmanager silence pas pris en compte

Commentaires

Laisser une réponse

Créez vos propres modules ansible

Conclusion du cours complet sur la technologie Docker

Conclusion du cours d'initiation à GoLang

Rejoindre la communauté