Prometheus: Scraping de sidecar Kubernetes pas fiable

Question

salut la team
j'ai un souci avec prometheus. j'essaie de scraper des metrics d'un sidecar dans mes pods k8s. le sidecar ecoute sur un port specifique genre 9100. j'ai mis les annotations qui vont bien sur mon pod mais prometheus ne scrape pas tout le temps ou alors le service discovery est hyper lent
# annotations sur le pod
annotations:
  prometheus.io/scrape: "true"
  prometheus.io/port: "9100"
  prometheus.io/path: "/metrics"

blondel-arnaude · Answer

check bien que ton prometheus operator ou ton kube-state-metrics a bien les perms pour lire les annotations des pods. des fois c'est juste un rbac qui manque

devrard · Answer

et ton target group dans prometheus, il te remonte des erreurs ou il voit juste pas le target ? regarde la page /targets de prometheus ca te dira pourquoi il scrape pas

bernadette-launay · Answer

j'ai check les rbac et c'est bon. sur /targets des fois il apparait des fois non. le service account de prometheus a l'air d'avoir les bonnes perms. ptete un probleme de ressource sur le pod prometheus ou le sidecar ?

blondel-arnaude · Answer

possible. si ton sidecar est trop lent a demarrer ou si il a pas assez de cpu/mem, prometheus peut le rater au moment du discovery initial. ou il timeout avant que le sidecar soit pret a servir les metrics

bernadette-launay · Answer

c'etait ca ! j'avais des readiness probes sur le sidecar mais trop courtes. le temps que le service demarre et expose les metrics, prometheus etait deja passé. j'ai rallongé le initialDelaySeconds et maintenant ca scrape nickel. thx pour l'aide !

Prometheus: Scraping de sidecar Kubernetes pas fiable

Commentaires

Laisser une réponse

Pourquoi la majorité des pannes de production ne sont pas dues au code ?

Filtrer les sorties Kubernetes

Le Futur du Calcul : Maîtriser la Matière Programmable avec DevOps

Rejoindre la communauté