Prometheus alertes fantômes après un deploy

Question

Salut tout le monde
j'ai un truc chelou après chaque nouveau deploy de mon service on a des alertes prometheus qui flashent pendant quelques secondes même si tout va bien. genre service_down ou high_error_rate et elles disparaissent presque aussitôt. ça spamme un peu les canaux Slack pour rien
mon déploiement est assez classique rolling update avec deux instances par service. les métriques sont exposées via un endpoint /metrics le scrape interval est de 15s et les alertes ont un for: 1m donc normalement ça devrait pas trigger si vite

sbazin · Answer

hello ça sent le target flapping pendant le rolling update. quand une ancienne instance s'arrête et une nouvelle démarre Prometheus voit potentiellement une target down ou avec des métriques bizarres pendant la transition. même avec un for 1m si t'as un moment où les deux sont down ou une qui est bad ça peut trigger

lmarty · Answer

c'est ce que je pensais mais les services sont derrière un load balancer et le rolling update attend que la nouvelle instance soit saine avant de retirer l'ancienne. donc le load balancer devrait toujours avoir une target healthy. ptete les probes prometheus qui sont plus rapides que le lb

sbazin · Answer

possible les probes. t'as configuré le honor_labels: true ou replace pour le job de scraping ? si prometheus voit une nouvelle instance avec un nouvel ip mais les mêmes labels ça peut semer la confusion si la vieille est pas encore totalement partie. sinon regarde les métriques internes de prometheus up{} pour voir comment il voit tes targets pendant le deploy

lmarty · Answer

j'ai checké up{} et effectivement pendant le deploy y a un petit creux genre une instance est marked down et l'autre pas encore complètement up. j'ai mis le min_shards: 1 et max_unavailable: 0 dans mon déploiement K8s et ça a l'air de mieux gérer la transition. plus d'alertes fantômes. thx !

Prometheus alertes fantômes après un deploy

Commentaires

Laisser une réponse

Les Expressions sur Terraform (boucles, conditions, arithmétique)

TP créer une application de chat dans le langage de programmation Go

Les tableaux dans le langage de programmation Go

Rejoindre la communauté