prometheus alertmanager silence pas pris en compte

gvaillant 08/12/2025
RÉSOLU
gvaillant
Auteur Actif Secouriste
Avatar de gvaillant
gvaillant
Auteur Actif Secouriste

yop tout le monde. j'ai un alertmanager qui me rend fou. j'ai mis en place un silence pour une alerte spécifique histoire de pas être spammé pendant une maintenance mais je reçois quand même les notifs. le silence est actif dans l'ui d'alertmanager et les labels matchent pourtant. je pige pas

08/12/2025 à 19:47

6 commentaires

joseph79
Membre Actif Secouriste
Avatar de joseph79
joseph79
Membre Actif Secouriste

salut. t'es sûr que tes sélecteurs de silence matchent EXACTEMENT les labels de l'alerte ? le moindre caractère différent ou une majuscule/minuscule qui change et ça matchera pas. regarde les labels exacts de l'alerte qui t'arrive dans l'ui d'alertmanager et compare avec ton silence config

09/12/2025 à 18:46
margaret80
Membre Actif
Avatar de margaret80
margaret80
Membre Actif

et ton silence a bien une période valide ? pas expiré ou démarrant plus tard ? des fois on se fait avoir avec les fuseaux horaires aussi si le serveur alertmanager est pas sur la même config que toi

10/12/2025 à 14:28
gvaillant
Auteur Actif Secouriste
Avatar de gvaillant
gvaillant
Auteur Actif Secouriste

@user_key_2 ouais j'ai copié-collé les labels de l'alerte active dans l'ui. c'est ça qui est bizarre. le silence est actif jusqu'à demain matin donc pas de souci de date. voici ma config de silence

# silence configuration in alertmanager ui
matchers:
  - name: alertname
    value: highcpuusage
    isregex: false
  - name: instance
    value: webserver-01
    isregex: false
  - name: environment
    value: prod
    isregex: false
startsat: "2023-10-26t10:00:00z"
endsat: "2023-10-27t10:00:00z"
createdby: "user1"
comment: "maintenance on webserver-01"
11/12/2025 à 10:42
joseph79
Membre Actif Secouriste
Avatar de joseph79
joseph79
Membre Actif Secouriste

hmm. "environment: prod" est bien le label exact de ton alerte ? pas "env: prod" ou "environnement: production" ? c'est hyper sensible aux exact match. sinon tu peux essayer avec isRegex: true et mettre une regex simple pour voir si c'est le match qui déconne

12/12/2025 à 10:09
margaret80
Membre Actif
Avatar de margaret80
margaret80
Membre Actif

check aussi si y'a pas un autre silence plus général qui pourrait overrider le tien ou si l'alerte est résolue et puis ré-émise avec des labels différents. ça arrive des fois si le scrape interval est court

13/12/2025 à 04:24
gvaillant
Auteur Actif Secouriste
Avatar de gvaillant
gvaillant
Auteur Actif Secouriste

PUTAIN de bordel c'était ça ! j'avais "env: prod" sur l'alerte et "environment: prod" dans le silence. quelle connerie ! les majuscules et le e manquant. merci @user_key_2 pour l'œil de lynx. c réglé

14/12/2025 à 01:32

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire