Requêtes Prometheus hyper lentes sur grosse volumétrie

Question

yo les sres nos requêtes prom sont de plus en plus lentes on a des dash grafana qui mettent 30s à charger pour des requêtes simples genre sum_over_time sur 1h de data on a genre 500k métriques par seconde c'est ptete un peu beaucoup non

# exemple de requête qui rame
sum_over_time(http_requests_total{job="my-app",status="200"}[1h])

william40 · Answer

500k/s c'est vénère t'as quelle config pour ta rétention storage type local disk ou remote storage ? souvent c'est le i/o disk qui bottleneck ou le cpu sur les query engines

wperret · Answer

t'as des relabel_configs de ouf qui alourdissent trop les scrapes ? chaque label en plus c'est du boulot pour le storage et le query engine regarde ton cardinalité pour chaque métrique avec cardinality_exporter

dupre-michel · Answer

et si t'as pas de remote read/write t'as pensé à compacter tes blocks plus souvent ou à changer la taille des blocks ça peut aider. ou ptete utiliser thanos ou cortex pour le long-term storage et les requêtes distribuées

bernard-muller · Answer

ouais et aussi regarde la quantité de mémoire allouée à prometheus si c pas assez ça swappe comme un porc et ça tue les perfs

margot49 · Answer

ok bon y'a du taf alors on a du local storage et oui le cpu est à fond. on a plein de relabel_configs avec des regex tordues je vais revoir ça et ptete passer sur thanos pour le long-term. merci pour les pistes les gars

Requêtes Prometheus hyper lentes sur grosse volumétrie

5 commentaires

Laisser une réponse

Comment se préparer à la certification AWS Solution Architecte Associate + Cheat Sheet

Gérer et manipuler les Pods Kubernetes

Les bonnes pratiques du DevOps

Environnements et Déploiements GitLab pour la Mise en Production

InnerSource : Démultipliez l'Innovation et la Collaboration DevOps

Rejoindre la communauté