i/o wait énorme sur un lvm pour db

alphonse20 17/02/2025
RÉSOLU
alphonse20
Auteur Actif
Avatar de alphonse20
alphonse20
Auteur Actif

salut la commu

j'ai un serveur db (postgresql) qui tourne sur une vm linux et depuis quelques jours on a des pics d'i/o wait qui monte à 80-90%. la db est sur un LVM au-dessus d'un raid logiciel. les disques sous-jacents sont censés être des SSD NVMe performants mais la situation est intenable


# top ou htop montrent souvent ça
%Cpu(s):  0.3 us,  0.7 sy,  0.0 ni, 12.0 id, 86.0 wa,  0.0 hi,  0.0 si,  0.0 st

j'ai vérifié les logs postgres pas d'énormes requêtes cheloues pas de gros vacuum qui tourne. le monitoring montre que le read/write iops est pas non plus délirant comparé à la capacité des disques. ça sent le mystère

17/02/2025 à 08:47

6 commentaires

corinne37
Membre Actif Rédacteur Secouriste
Avatar de corinne37
corinne37
Membre Actif Rédacteur Secouriste

hello t'as check si d'autres process que postgres n'utilisent pas le disque regarde avec iostat -xz 1 ou pidstat -d 1 pour voir qui bouffe les i/o

18/02/2025 à 03:07
alphonse20
Auteur Actif
Avatar de alphonse20
alphonse20
Auteur Actif

ouais j'ai fait ça et c'est bien postgres qui est en tête des i/o avec son process principal et ses workers. mais le volume total d'iops est pas si élevé comparé à ce qu'on devrait avoir sur du nvme

19/02/2025 à 01:20
mace-aimee
Membre Actif
Avatar de mace-aimee
mace-aimee
Membre Actif

c'est peut-être pas un problème de volume d'iops mais de latence individuelle des i/o. t'as des outils pour mesurer la latence des i/o genre fio ou des métriques du kernel direct sur les disques sous-jacents pas juste sur le lvm

19/02/2025 à 23:59
oguillon
Membre
Avatar de oguillon
oguillon
Membre

si c'est une vm assure-toi que le virtio-scsi est bien utilisé et que t'as pas de souci de file d'attente i/o au niveau de l'hyperviseur des fois le host est surchargé et ça impacte les invités même si les disques sont rapides

20/02/2025 à 20:52
alphonse20
Auteur Actif
Avatar de alphonse20
alphonse20
Auteur Actif

alors en fait en creusant côté hyperviseur et en regardant les métriques du SAN (on est sur du fibre channel derrière) il y avait bien un souci de qdepth trop faible sur les chemins d'accès au stockage. les disques étaient rapides mais la file d'attente était saturée très vite. le provider a ajusté la config

21/02/2025 à 16:03
alphonse20
Auteur Actif
Avatar de alphonse20
alphonse20
Auteur Actif

après l'ajustement c'est tombé à 5% d'i/o wait c'est le jour et la nuit. merci pour l'aide les gars la piste hyperviseur/san était la bonne

22/02/2025 à 13:38

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire