Prometheus : counter qui part en vrille avec des reset inexpliqués
Membre depuis le 01/10/2024
Salut la commu ! On a un service go qui expose des métriques prometheus, notamment un counter pour le nombre de requêtes traitées. Sauf que je vois des resets aléatoires de ce counter dans grafana. genre il monte à 1000 et hop il repart à 0 sans que le pod ait redémarré. C'est chelou, le service est sensé être stateless mais le counter devrait pas reset comme ça. Une idée de ce qui pourrait se passer ?
rate(my_app_requests_total[5m])Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
raymond28
Membre depuis le 28/05/2024
hey ! c pas une question de cible qui disparaît et réapparaît avec un nouveau scrape ? si ton service est derrière un load balancer et que l'ip change ou si tu as plusieurs pods et que prometheus scrape pas toujours le même pod ça peut faire ça. vérifie tes cibles dans prometheus ou la config de service discovery
margaret-julien
Membre depuis le 01/10/2024
non on a qu'un pod pour le moment pour ce service spécifique et l'ip est stable. j'ai check les logs du pod il redémarre pas. le scrape interval est de 15s. le reset est vraiment bizarre
raymond28
Membre depuis le 28/05/2024
hmm ok. ptete que ton app elle-même elle recrée l'instance du counter à un moment donné ? genre si tu as un init() qui relance une nouvelle instance du counter plutôt que de le récupérer. faudrait regarder comment le counter est géré dans le code go. un counter c'est censé être incrémental et jamais descendre sauf si l'app meurt
margaret-julien
Membre depuis le 01/10/2024
bingo ! t'as mis le doigt dessus. il y a une fonction qui était appelée toutes les heures et qui réinitialisait une partie du contexte de l'app et ça recréait l'instance du counter. j'ai corrigé ça et maintenant c'est bon. merci beaucoup !