4 commentaires
hey ! c pas une question de cible qui disparaît et réapparaît avec un nouveau scrape ? si ton service est derrière un load balancer et que l'ip change ou si tu as plusieurs pods et que prometheus scrape pas toujours le même pod ça peut faire ça. vérifie tes cibles dans prometheus ou la config de service discovery
non on a qu'un pod pour le moment pour ce service spécifique et l'ip est stable. j'ai check les logs du pod il redémarre pas. le scrape interval est de 15s. le reset est vraiment bizarre
hmm ok. ptete que ton app elle-même elle recrée l'instance du counter à un moment donné ? genre si tu as un init() qui relance une nouvelle instance du counter plutôt que de le récupérer. faudrait regarder comment le counter est géré dans le code go. un counter c'est censé être incrémental et jamais descendre sauf si l'app meurt
bingo ! t'as mis le doigt dessus. il y a une fonction qui était appelée toutes les heures et qui réinitialisait une partie du contexte de l'app et ça recréait l'instance du counter. j'ai corrigé ça et maintenant c'est bon. merci beaucoup !
Laisser une réponse
Vous devez être connecté pour poster un message !
Salut la commu ! On a un service go qui expose des métriques prometheus, notamment un counter pour le nombre de requêtes traitées. Sauf que je vois des resets aléatoires de ce counter dans grafana. genre il monte à 1000 et hop il repart à 0 sans que le pod ait redémarré. C'est chelou, le service est sensé être stateless mais le counter devrait pas reset comme ça. Une idée de ce qui pourrait se passer ?