Prometheus qui rate des scrapes, metrics perdues
Commentaires
Membre depuis le 22/12/2020
Ok donc le problème n'est pas côté cible, ni côté réseau. T'as vraiment des ressources libres sur Prometheus ? Des fois, c'est pas le CPU global mais juste un thread qui est bloqué ou un truc de ce genre. T'as regardé les métriques internes de Prometheus lui-même ? Genre prometheus_target_scrapes_missed_total.
Membre depuis le 21/04/2020
MERCI ! c'était les métriques internes de prometheus. je viens de voir prometheus_target_scrapes_missed_total exploser. il y avait une tonne de labels dynamiques générés par un de nos services qui rendaient l'ingestion de métriques super lourde pour prometheus. j'ai nettoyé les labels et ça respire mieux. nickel !
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
sauvage-paulette
Membre depuis le 21/04/2020
salut l'équipe on a un problème aléatoire avec prometheus. de temps en temps il rate des scrapes sur certains de nos services k8s. on se retrouve avec des trous dans nos graphes grafana. on est sur prometheus 2.30. des idées ?
les services c'est majoritairement du go et nodejs, avec des /metrics standards. pas de trucs exotiques.