prométheus ne scrape plus les métrics de certains exporters
Posté par
bouchet-francois
le 04/09/2024
RÉSOLU
Membre depuis le 21/07/2024
salut les pros ! j'ai un souci avec prometheus. certains exporters (node-exporter, blackbox-exporter) ne sont plus scrappés depuis hier. j'ai le message 'server returned HTTP status 403 Forbidden' dans les logs de prometheus. rien n'a changé dans ma config ni mes règles de pare-feu. mes autres exporters marchent nickel
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
chevalier-david
Membre depuis le 25/03/2024
un 403 c'est souvent un problème d'authentification ou d'autorisation. t'aurais pas mis un reverse proxy devant tes exporters avec une auth basique qui s'est activée sans le vouloir ? ou une ip whitelisting qui a sauté quelque part ? check les logs du reverse proxy si y'en a un
leroy-margot
Membre depuis le 26/07/2024
ouais ou bien un sidecar comme istio ou linkerd qui a été mis en place et qui bloque le trafic. si t'es sur k8s, verifie les policies réseau. et si t'utilises des secrets pour l'auth mtls entre prometheus et tes exporters, les certs sont ptete expirés ?
guillaume-valentine
Membre depuis le 15/08/2024
regarde tes cibles dans l'interface prometheus (status > targets). elles sont bien en up ? et les labels sont ok ? si t'as une target rewrite ou un relabeling qui s'applique sur ces exporters, ça pourrait aussi fausser la cible ou l'url de scrape
martinez-arthur
Membre depuis le 22/08/2024
si c'est des blackbox-exporter qui foirent, ça peut aussi être le blackbox qui a un pb pour atteindre la cible et qui renvoie un 403 au prometheus parce qu'il n'arrive pas à faire son job correctement. mais le message 'server returned HTTP status 403 Forbidden' laisse penser que c'est le serveur de l'exporter ou un truc devant qui bloque prometheus
bouchet-francois
Membre depuis le 21/07/2024
bon en fait c'était bien un truc stupide. on a un load balancer devant certains exporters et quelqu'un a activé une règle de waf qui bloquait les requêtes prometheus à cause d'un pattern url un peu générique. j'ai désactivé cette règle pour les endpoints /metrics et tout est revenu à la normale. merci pour les pistes !