alertes prometheus trop bruyantes sur les changements de target
Commentaires
Membre depuis le 20/03/2019
ouais classique faut gérer ça avec un alertmanager receiver qui met en mute pendant la fenêtre de déploiement avant le rollout tu crées un silence via l'api c'est le plus propre
Membre depuis le 28/06/2020
comment je fais ça je peux cibler un label spécifique pour le silence
Membre depuis le 20/03/2019
exactement tu peux configurer des silences dans alertmanager basés sur des labels comme env service ou même pod si c'est pertinent c'est très flexible et tu peux l'automatiser
# exemple de silence via l'api alertmanager
{
"matchers": [
{ "name": "service", "value": "mon-service", "isRegex": false },
{ "name": "alertname", "value": "TargetDown", "isRegex": false }
],
"startsAt": "2023-10-27T10:00:00Z",
"endsAt": "2023-10-27T10:15:00Z",
"createdBy": "deploy-bot",
"comment": "Silence during deployment of mon-service"
}
Membre depuis le 28/06/2020
ok je vois je vais essayer de coder un script pour ça avant chaque rollout ça a l'air pas mal
Membre depuis le 20/03/2019
ouais et pense aussi à la grace period de ton discovery dans prometheus pour qu'il attende un peu avant de marquer une target comme down tu peux jouer sur le scrape_interval et le scrape_timeout pour un peu plus de souplesse
Membre depuis le 28/06/2020
top je vais regarder ça aussi en plus du silence ça m'aidera à calmer le jeu pendant les maj merci
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
martin-caron
Membre depuis le 28/06/2020
yo la team mes alertes prometheus sont un enfer à chaque déploiement on a une avalanche d'alertes sur les targets down genre pendant 30s c'est injouable surtout quand t'as plusieurs services qui déploient en même temps ça me rend fou