Requêtes Prometheus hyper lentes sur grosse volumétrie

Question

yo les sres nos requêtes prom sont de plus en plus lentes on a des dash grafana qui mettent 30s à charger pour des requêtes simples genre sum_over_time sur 1h de data on a genre 500k métriques par seconde c'est ptete un peu beaucoup non

# exemple de requête qui rame
sum_over_time(http_requests_total{job="my-app",status="200"}[1h])

william40 · Answer

500k/s c'est vénère t'as quelle config pour ta rétention storage type local disk ou remote storage ? souvent c'est le i/o disk qui bottleneck ou le cpu sur les query engines

wperret · Answer

t'as des relabel_configs de ouf qui alourdissent trop les scrapes ? chaque label en plus c'est du boulot pour le storage et le query engine regarde ton cardinalité pour chaque métrique avec cardinality_exporter

dupre-michel · Answer

et si t'as pas de remote read/write t'as pensé à compacter tes blocks plus souvent ou à changer la taille des blocks ça peut aider. ou ptete utiliser thanos ou cortex pour le long-term storage et les requêtes distribuées

bernard-muller · Answer

ouais et aussi regarde la quantité de mémoire allouée à prometheus si c pas assez ça swappe comme un porc et ça tue les perfs

margot49 · Answer

ok bon y'a du taf alors on a du local storage et oui le cpu est à fond. on a plein de relabel_configs avec des regex tordues je vais revoir ça et ptete passer sur thanos pour le long-term. merci pour les pistes les gars

Requêtes Prometheus hyper lentes sur grosse volumétrie

5 commentaires

Laisser une réponse

TP Le jeu du morpions dans le langage de programmation Go

Comment installer et configurer votre propre serveur GitLab

Référencer des tickets Work items sur GitLab

DevOps Composable : L'Ère des Architectures à Capacités Dynamiques

Tissus Réseaux Intelligents : L'Ère de l'Opération par Intention

Rejoindre la communauté