Prometheus alerte 'disk full' mais df dit 70% libre

Question

salut la team
j'ai une alerte prometheus qui pète "NodeFilesystemUsage" pour mes serveurs prometheus, ça me dit disk usage > 90% sur /var/lib/prometheus. mais quand je me connecte en ssh, un bon vieux df -h me montre qu'il reste 70% de libre sur la partition. je comprends pas ce qui se passe. c'est quoi le bordel ? c'est un fs xfs
# prometheus alert rule
- alert: NodeFilesystemUsage
  expr: 100 - (node_filesystem_avail_bytes{mountpoint="/var/lib/prometheus",fstype!="rootfs"} * 100) / node_filesystem_size_bytes{mountpoint="/var/lib/prometheus",fstype!="rootfs"} > 90
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Filesystem usage on {{ $labels.instance }} is > 90%"

lpetit · Answer

yo c'est souvent un problème d'inodes. prometheus stocke plein de petits fichiers. df -h ne regarde que l'espace disque. fais un df -i pour voir l'utilisation des inodes. si c'est près de 100%, ton disque est "full" même s'il reste de la place en gigas.

julien-paul · Answer

bien vu les inodes. et la rétention de prometheus t'as checké ? si tu gardes trop de data trop longtemps ça peut créer des millions de petits chunks. regarde ta config storage.tsdb.retention.time. par défaut c'est 15j je crois mais si t'as override, ça peut être la cause.

nmace · Answer

si c'est bien les inodes, un find /var/lib/prometheus -xdev -printf '%h
' | sort | uniq -c | sort -rh peut te donner une idée de quels répertoires contiennent le plus de fichiers. souvent c'est dans les wal ou les blocks récents.

lpetit · Answer

et une fois que t'as identifié le problème, soit tu ajustes ta rétention, soit tu passes sur un fs plus adapté aux petits fichiers si xfs te pose problème (même si xfs est bon de base), soit tu prévois plus de place avec un inode ratio plus favorable lors du formatage si tu peux refaire le disque.

julien-paul · Answer

sinon pour debugger en live un du -sh * dans /var/lib/prometheus/chunks peut t'aider à voir les gros dossiers. et si c'est la rétention, même si les fichiers sont petits, leur nombre fini par bouffer les inodes. attention aux labels très dynamiques aussi, ça explose le nombre de séries et de fichiers.

marcel-thibault · Answer

vous êtes des cracks ! c'était bien un problème d'inodes. mon df -i était à 98% d'utilisation. j'avais une rétention de 90j au lieu de 30j et un service un peu trop "verbose" en labels dynamiques. j'ai réduit la rétention, nettoyé les anciens blocs et ça a résolu le souci. merci beaucoup, j'aurais tourné en rond longtemps sans vous !

Prometheus alerte 'disk full' mais df dit 70% libre

6 commentaires

Laisser une réponse

Découverte et installation de Docker

Utilisation des modules sur Terraform

L'IA Explicable au Cœur du DevOps : Construire la Confiance et la Transparence

Bio-Inspired DevOps : Quand l'Infrastructure Respire et Évolue

La Révolution des Architectures Cognitives : Vers des Systèmes DevOps Auto-Adaptatifs et Intelligents

Rejoindre la communauté