6 commentaires
ouais classique faut gérer ça avec un alertmanager receiver qui met en mute pendant la fenêtre de déploiement avant le rollout tu crées un silence via l'api c'est le plus propre
comment je fais ça je peux cibler un label spécifique pour le silence
exactement tu peux configurer des silences dans alertmanager basés sur des labels comme env service ou même pod si c'est pertinent c'est très flexible et tu peux l'automatiser
# exemple de silence via l'api alertmanager
{
"matchers": [
{ "name": "service", "value": "mon-service", "isRegex": false },
{ "name": "alertname", "value": "TargetDown", "isRegex": false }
],
"startsAt": "2023-10-27T10:00:00Z",
"endsAt": "2023-10-27T10:15:00Z",
"createdBy": "deploy-bot",
"comment": "Silence during deployment of mon-service"
}
ok je vois je vais essayer de coder un script pour ça avant chaque rollout ça a l'air pas mal
ouais et pense aussi à la grace period de ton discovery dans prometheus pour qu'il attende un peu avant de marquer une target comme down tu peux jouer sur le scrape_interval et le scrape_timeout pour un peu plus de souplesse
top je vais regarder ça aussi en plus du silence ça m'aidera à calmer le jeu pendant les maj merci
Laisser une réponse
Vous devez être connecté pour poster un message !
yo la team mes alertes prometheus sont un enfer à chaque déploiement on a une avalanche d'alertes sur les targets down genre pendant 30s c'est injouable surtout quand t'as plusieurs services qui déploient en même temps ça me rend fou