Sujet :

Prometheus qui scrap plus rien après upgrade K8s

RÉSOLU

Liste des sujets Répondre Créer un sujet

josette76

Membre depuis le 02/05/2024

salut la team on a upgrade notre cluster k8s de 1.25 à 1.27 ce matin et depuis prometheus ne scrape plus rien. toutes les targets sont down ou unknown. l'opérateur prometheus est à jour les pods prometheus sont up sans erreur dans les logs. on sèche là.

christelle54

Membre depuis le 03/05/2024

hello le rbac de k8s a pu changer entre ces versions. vérifie les rbac roles et rolebindings pour le service account de prometheus est-ce qu'il a toujours les droits de list/watch sur les pods services endpoints etc dans tous les namespaces ?

desousa-nathalie

Membre depuis le 12/05/2024

ouais et assure-toi que tes service monitors et pod monitors sont toujours valides ils ont pas été écrasés ou modifiés ? des fois l'opérateur recrée des trucs et les labels selectors peuvent être cassés

julie50

Membre depuis le 14/05/2024

la version de kube-state-metrics est aussi importante si c'est pas la bonne version pour 1.27 ça peut tout casser vu que prometheus se base beaucoup sur lui pour découvrir les cibles. regarde les logs de kube-state-metrics

edouard-fontaine

Membre depuis le 04/05/2024

y'a pas une network policy qui bloque le trafic entre prometheus et tes apps ? l'upgrade a pu modifier les règles par défaut ou en ajouter de nouvelles

dasilva-christophe

Membre depuis le 06/05/2024

et le prometheus operator lui-même il est bien compatible avec k8s 1.27 ? des fois faut l'upgrader avant le cluster ou juste après sinon il déconne

josette76

Membre depuis le 02/05/2024

c'était bien ça les gars c'était le rbac pour le service account de prometheus. avec l'upgrade de k8s les permissions sur les apiresources avaient changé j'ai dû rajouter des verbes pour les endpointslices et les ingresses. après ça prometheus a tout de suite retrouvé ses cibles. merci pour l'aide précieuse !

Répondre

vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire