Sujet :
Requêtes Prometheus hyper lentes sur grosse volumétrie
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 18/04/2024
yo les sres nos requêtes prom sont de plus en plus lentes on a des dash grafana qui mettent 30s à charger pour des requêtes simples genre sum_over_time sur 1h de data on a genre 500k métriques par seconde c'est ptete un peu beaucoup non
# exemple de requête qui rame
sum_over_time(http_requests_total{job="my-app",status="200"}[1h])
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
william40
Membre depuis le 25/07/2024
500k/s c'est vénère t'as quelle config pour ta rétention storage type local disk ou remote storage ? souvent c'est le i/o disk qui bottleneck ou le cpu sur les query engines
wperret
Membre depuis le 19/05/2024
t'as des relabel_configs de ouf qui alourdissent trop les scrapes ? chaque label en plus c'est du boulot pour le storage et le query engine regarde ton cardinalité pour chaque métrique avec cardinality_exporter
dupre-michel
Membre depuis le 15/06/2024
et si t'as pas de remote read/write t'as pensé à compacter tes blocks plus souvent ou à changer la taille des blocks ça peut aider. ou ptete utiliser thanos ou cortex pour le long-term storage et les requêtes distribuées
bernard-muller
Membre depuis le 01/05/2024
ouais et aussi regarde la quantité de mémoire allouée à prometheus si c pas assez ça swappe comme un porc et ça tue les perfs
margot49
Membre depuis le 18/04/2024
ok bon y'a du taf alors on a du local storage et oui le cpu est à fond. on a plein de relabel_configs avec des regex tordues je vais revoir ça et ptete passer sur thanos pour le long-term. merci pour les pistes les gars