Prometheus met des plombes à scraper mes targets Kubernetes

Question

salut les gens j'ai un problème de perf avec prometheus. il est sur un cluster k8s et il doit scraper pas mal de services mais les scrapes prennent des plombes genre 30-40s pour des targets qui devraient être rapides. j'ai l'impression qu'il galère à processer les métriques. mon intervalle de scrape est de 15s. j'ai des alertes sur les scrape_duration_seconds qui pètent tout le temps

roger-paul · Answer

hello ! 30-40s pour un scrape c'est énorme. t'as combien de targets ? et combien de métriques par target en moyenne ? des fois c'est juste trop de données à ingérer. regarde aussi la charge cpu/mémoire de ton pod prometheus. il est peut-être juste sous-dimensionné

manon-leroux · Answer

ouais et est-ce que t'as des relabeling rules complexes ? des fois une regex foireuse ou trop gourmande ça bouffe du temps cpu. ou si t'as des drop rules qui se déclenchent sur beaucoup de métriques. ça peut alourdir le processing

ppotier · Answer

j'ai environ 500 targets et chaque pod expose pas mal de métriques on est à 50k+ métriques par scrape pour certains services. le pod prometheus est sur 4vcpu 8gb ram et il est à 70-80% cpu en permanence. j'ai des relabeling rules oui pour virer des labels inutiles

roger-paul · Answer

50k métriques par scrape c'est beaucoup. tu devrais regarder du côté des metric_relabel_configs pour réduire la cardinalité de tes métriques avant qu'elles soient ingérées. si tu peux dropper la plupart des labels inutiles ou même des métriques entières ça va drastiquement améliorer les temps de scrape et la charge sur prometheus

ppotier · Answer

d'acc je vois. c'est clair qu'on garde trop de trucs. je vais revoir mes relabeling rules pour être beaucoup plus agressif sur ce qu'on garde. j'avais pas pensé que ça pouvait impacter autant les temps de scrape. thx pour le tips ça va me sauver

Prometheus met des plombes à scraper mes targets Kubernetes

Commentaires

Laisser une réponse

Les channels dans le langage de programmation Go

La portée des variables dans le langage de programmation Go

Les backends et les workspaces

Rejoindre la communauté