6 commentaires
hello. avec les maj k8s des fois y'a des changements sur l'api discovery ou sur les rbac. as-tu vérifié que le service account de prometheus operator a toujours les bonnes permissions pour lister les services et les pods dans tous les namespaces où il doit scraper ? un ptit kubectl auth can-i get services -n my-app-ns --as=system:serviceaccount:monitoring:prometheus-k8s
des fois avec les maj k8s les network policies peuvent être réinitialisées ou mal appliquées. assure-toi que prometheus peut bien atteindre les ips de tes services applicatifs sur le port des metrics. un ptit curl direct depuis le pod prometheus vers l'ip d'un service problématique pour voir si ça passe
et une autre chose à vérifier c la config d'ip-vs sur tes nodes. certaines versions de k8s ou cni peuvent avoir des soucis avec ip-vs et le service discovery interne quand prometheus essaye de résoudre le service endpoint.
Laisser une réponse
Vous devez être connecté pour poster un message !
yo la gang j'ai un truc chelou sur notre infra. on a fait une maj mineure de k8s (1.23 vers 1.24) et depuis prometheus ne scrape plus du tout certaines de nos targets. genre les exporters de node-exporter et kube-state-metrics ils marchent nickel mais nos services applicatifs eux il les voit plus. le prometheus operator est à jour aussi. rien dans les logs de prometheus qui donne d'erreur claire. il dit juste "no healthy targets" pour les jobs impactés.