5 commentaires
un 403 c'est souvent un problème d'authentification ou d'autorisation. t'aurais pas mis un reverse proxy devant tes exporters avec une auth basique qui s'est activée sans le vouloir ? ou une ip whitelisting qui a sauté quelque part ? check les logs du reverse proxy si y'en a un
ouais ou bien un sidecar comme istio ou linkerd qui a été mis en place et qui bloque le trafic. si t'es sur k8s, verifie les policies réseau. et si t'utilises des secrets pour l'auth mtls entre prometheus et tes exporters, les certs sont ptete expirés ?
regarde tes cibles dans l'interface prometheus (status > targets). elles sont bien en up ? et les labels sont ok ? si t'as une target rewrite ou un relabeling qui s'applique sur ces exporters, ça pourrait aussi fausser la cible ou l'url de scrape
si c'est des blackbox-exporter qui foirent, ça peut aussi être le blackbox qui a un pb pour atteindre la cible et qui renvoie un 403 au prometheus parce qu'il n'arrive pas à faire son job correctement. mais le message 'server returned HTTP status 403 Forbidden' laisse penser que c'est le serveur de l'exporter ou un truc devant qui bloque prometheus
bon en fait c'était bien un truc stupide. on a un load balancer devant certains exporters et quelqu'un a activé une règle de waf qui bloquait les requêtes prometheus à cause d'un pattern url un peu générique. j'ai désactivé cette règle pour les endpoints /metrics et tout est revenu à la normale. merci pour les pistes !
Laisser une réponse
Vous devez être connecté pour poster un message !
salut les pros ! j'ai un souci avec prometheus. certains exporters (node-exporter, blackbox-exporter) ne sont plus scrappés depuis hier. j'ai le message 'server returned HTTP status 403 Forbidden' dans les logs de prometheus. rien n'a changé dans ma config ni mes règles de pare-feu. mes autres exporters marchent nickel