prometheus disque full tous les mois config retention

Posté par lesage-pauline le 03/09/2024

RÉSOLU

Membre depuis le 07/08/2024

yo on a prometheus qui remplit son disque tous les mois c'est un enfer. on a mis 30j de retention mais ça change rien j'ai l'impression. j'ai 500go de métriques après quelques semaines c'est nimp

03/09/24 à 07:30

Commentaires

guillaume71

Membre depuis le 19/08/2024

t'as regardé la cardinalité de tes métriques ? si t'as trop de labels dynamiques ça explose la taille des chunks meme avec une petite retention. genre un label avec un uuid pour chaque requete c'est le mal pour prometheus

04/09/24 à 04:39

benoit-pons

Membre depuis le 25/06/2024

regarde le

/metrics

de prometheus lui meme tu as des infos sur la taille des chunks et la retention. tu peux aussi affiner le

storage.tsdb.retention.size

en plus de la durée pour avoir un hard limit en go

05/09/24 à 00:11

qbaron

Membre depuis le 06/08/2024

sinon t'as une option pour faire du downsampling avec Thanos ou Mimir pour réduire le volume des vieilles métriques. ou si c'est vraiment juste pour la durée tu peux virer les trucs superflus et pas critiques

05/09/24 à 21:37

lesage-pauline

Membre depuis le 07/08/2024

ok la cardinalité c ça ! on avait un label genre

request_id

sur toutes les requêtes http. j'ai viré ce label via le config scraping et le disque a commencé à se vider après un petit moment. thx pour le coup de main c'était bien ça le souci

06/09/24 à 20:22

Retour