7 commentaires
salut t'es sûr que le service dont tu parles utilise toujours les mêmes labels ou les mêmes métriques ? prometheus upgrade ça peut parfois casser des choses si y'a des changements internes. regarde tes requêtes promql dans grafana et compare avec ce que tu vois dans l'ui prometheus
oui sûr les requêtes sont les mêmes. j'ai fait un copier-coller de la query grafana dans l'UI prometheus et ça me sort bien les données. c'est vraiment juste grafana qui affiche pas. j'ai restart grafana au cas où mais rien
ok alors si prometheus a bien les data et ta query marche dans son ui, c'est entre grafana et prometheus. t'as checké la datasource prometheus dans grafana ? l'url le proxy http tout ça. et les logs grafana ? y'a peut-être une erreur de parsing ou de connexion qui t'échappe
datasource est ok elle est commune à tous les dashboards. les logs grafana... ah tiens j'ai un warning data source response has no data, skipping series sur cette datasource et pour ce dashboard précis. mais pourquoi ?
ça peut être un header qui manque ou une réponse http mal formée que grafana n'aime pas avec une nouvelle version. ou un truc avec le content-type. des fois les proxies peuvent aussi modifier les réponses. t'as un proxy entre grafana et prometheus ?
non pas de proxy direct connexion http. mais là j'ai trouvé en fouillant les logs grafana plus attentivement. Prometheus 2.45 a introduit un changement mineur sur la façon dont certaines métriques avec des labels vides sont encodées en json. Grafana de mon côté n'était pas à jour pour le parser correctement. J'ai upgrade Grafana et hop ça marche ! Pfff. thx pour les pistes c'était bien un souci entre les deux
ah la bonne blague classic. content que tu aies trouvé !
Laisser une réponse
Vous devez être connecté pour poster un message !
Hello ! J'ai fait une upgrade de prometheus de la 2.37 à la 2.45 et depuis, un de nos dashboards grafana qui monitorait un service critique est vide. Il y a des panels "no data". Mais les autres dashboards qui scrape des trucs classiques (node exporter, cadvisor) marchent nickel. Et prometheus lui-même quand je fais des requêtes prometheus directes via son UI, les métriques sont bien là pour le service concerné. Je pige rien.