SRE : prometheus alerte sur disque à 80% mais y'a de la place

Question

hello la team j'ai des alertes prometheus qui pètent sur des disques à 80% d'utilisation. mais quand je me connecte en ssh sur les machines et que je fais un df -h je vois que c'est genre 50-60%. y'a un truc que je pige pas avec node_exporter ou quoi

# alert rule prometheus
alert: hostdiskfillingup
expr: node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100 < 20
for: 5m
labels:
  severity: warning
annotations:
  summary: "Disk usage on {{ $labels.instance }} is low ({{ $value | humanizePercentage }})"

bref j'ai l'impression qu'il y a un décalage entre ce que prometheus voit et la réalité. une idée ?

aurelie-humbert · Answer

c'est classique ce genre de souci. souvent c'est les inodes. df -h te donne l'espace disque mais pas l'utilisation des inodes. si t'as plein de petits fichiers (logs par exemple) ça peut saturer les inodes bien avant l'espace disque. fais un df -i pour voir

perrier-thierry · Answer

ouais ou ptete un mount bind ou un volume qui est monté par dessus un répertoire existant et les fichiers d'origine sont toujours là mais pas visibles. prometheus les verrait mais pas toi via le mountpoint actif

dominique24 · Answer

check aussi si t'as pas des process qui ont des fichiers ouverts mais qui ont été supprimés (deleted). l'espace est pas libéré tant que le process tient le descripteur. un lsof | grep deleted te montrera ça

perret-danielle · Answer

ok les gars j'ai fait le df -i et bingo certains disques sont à 90% d'inodes utilisés ! c bien ça. on va devoir purger nos logs différemment. j'ai aussi trouvé un vieux mount bind. merci pour les pistes c'était super utile !

SRE : prometheus alerte sur disque à 80% mais y'a de la place

Commentaires

Laisser une réponse

Augmenter les performances de votre Playbook

Invitation de l'entreprise OVH et présentation de l'outil CDS

L'Ère du Developer Productivity Engineering : Propulser l'Innovation DevOps

Rejoindre la communauté