Sujet :
SRE : prometheus alerte sur disque à 80% mais y'a de la place
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 05/07/2024
hello la team j'ai des alertes prometheus qui pètent sur des disques à 80% d'utilisation. mais quand je me connecte en ssh sur les machines et que je fais un df -h je vois que c'est genre 50-60%. y'a un truc que je pige pas avec node_exporter ou quoi
# alert rule prometheus
alert: hostdiskfillingup
expr: node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100 < 20
for: 5m
labels:
severity: warning
annotations:
summary: "Disk usage on {{ $labels.instance }} is low ({{ $value | humanizePercentage }})"
bref j'ai l'impression qu'il y a un décalage entre ce que prometheus voit et la réalité. une idée ?
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
aurelie-humbert
Membre depuis le 21/07/2024
c'est classique ce genre de souci. souvent c'est les
inodes.df -hte donne l'espace disque mais pas l'utilisation des inodes. si t'as plein de petits fichiers (logs par exemple) ça peut saturer les inodes bien avant l'espace disque. fais undf -ipour voirperrier-thierry
Membre depuis le 14/08/2024
ouais ou ptete un
mount bindou unvolumequi est monté par dessus un répertoire existant et les fichiers d'origine sont toujours là mais pas visibles. prometheus les verrait mais pas toi via lemountpointactifdominique24
Membre depuis le 25/11/2024
check aussi si t'as pas des process qui ont des fichiers ouverts mais qui ont été supprimés (
deleted). l'espace est pas libéré tant que le process tient le descripteur. unlsof | grep deletedte montrera çaperret-danielle
Membre depuis le 05/07/2024
ok les gars j'ai fait le
df -iet bingo certains disques sont à 90% d'inodes utilisés ! c bien ça. on va devoir purger nos logs différemment. j'ai aussi trouvé un vieuxmount bind. merci pour les pistes c'était super utile !