Prometheus qui rate des scrapes, metrics perdues

Tu as checké les logs de Prometheus pour voir ce qu'il dit quand il rate un scrape ? Cherche des scrape_timeout ou des target_down. C'est le premier truc à regarder.

c pas un souci de service discovery dans K8s ? Si tes pods sont recréés ou changent d'IP, prometheus peut mettre un peu de temps à les redécouvrir via le service discovery. Y'a des metrics sur le Kube-state-metrics pour ça.

Combien de temps dure ton scrape_timeout et ton scrape_interval ? si tes services prennent du temps à démarrer et à exposer les métriques, ou si le réseau est saturé, tu peux augmenter le timeout.

Si c'est lié aux redémarrages de pods, c'est ptete juste le temps que l'endpoint soit prêt. Tu peux augmenter le initialDelaySeconds de ton readiness probe pour donner plus de temps au service de démarrer et exposer ses métriques avant d'être considéré comme prêt.

et la charge cpu/mémoire de ton pod prometheus ? si prometheus est sous-provisionné, il peut ne pas arriver à scraper toutes les cibles dans les temps, surtout si t'as beaucoup de targets ou de métriques.

Hmmm si le pod prometheus a des ressources, et que les services ont le temps. Ptete un truc réseau entre prometheus et tes pods cibles. Est-ce que le CNI de ton k8s a des soucis de latence ou de paquets droppés entre les nodes ?

Ou regarde si tes targets n'ont pas de problèmes de perf elles-mêmes. Si l'endpoint /metrics prend du temps à répondre, prometheus va timeout. c'est quel type de service qui pose problème ? un truc spécifique ?

Ok donc le problème n'est pas côté cible, ni côté réseau. T'as vraiment des ressources libres sur Prometheus ? Des fois, c'est pas le CPU global mais juste un thread qui est bloqué ou un truc de ce genre. T'as regardé les métriques internes de Prometheus lui-même ? Genre prometheus_target_scrapes_missed_total.