perfs i/o aléatoires sur disques nvme sous linux

RSS
tanguy-francois 25/04/2025
RÉSOLU
Retour Répondre
Avatar de tanguy-francois
tanguy-francois
Auteur Actif
Avatar de tanguy-francois
tanguy-francois
Auteur Actif

yo la team j'ai des vm avec des disques nvme et les perfs i/o sont super erratiques un coup c'est la foudre un coup c'est hyper lent genre plusieurs centaines de ms de latence pour des petites écritures

# exemple de iostat -x output pendant une phase lente
device            r/s     w/s     rkb/s     wkb/s   rrqm/s   wrqm/s  %rrqm  %wrqm  r_await  w_await  aqu-sz  rareq-sz  wareq-sz  svctm  %util
nvme0n1          0.00   20.00      0.00    200.00     0.00    10.00   0.00  33.33    0.00   250.00     5.00      0.00     10.00  10.00  100.00
25/04/2025 à 12:11

6 commentaires

Avatar de kpotier
kpotier
Membre Actif Rédacteur Secouriste
Avatar de kpotier
kpotier
Membre Actif Rédacteur Secouriste

salut t'es sur quel scheduler i/o deadline noop mq-deadline par défaut pour le nvme c'est souvent mq-deadline mais ça vaut le coup de vérifier si y a pas un truc qui override

26/04/2025 à 11:13
Avatar de alexandre-gosselin
alexandre-gosselin
Membre
Avatar de alexandre-gosselin
alexandre-gosselin
Membre

et t'as check si t'es pas en train de taper les limites du vCPU ou de la vmware/kvm pour les iops des fois c'est pas le disque direct mais le chemin virtuel

27/04/2025 à 10:59
Avatar de tanguy-francois
tanguy-francois
Auteur Actif
Avatar de tanguy-francois
tanguy-francois
Auteur Actif

je suis bien en mq-deadline côté vm et pas de souci de vCPU on est en 8 cpus pour 16gb et les métriques hyperviseur montrent pas de throttle. c vraiment centré sur le disque. les autres vm sur le même host ont pas le souci

28/04/2025 à 06:47
Avatar de jlegendre
jlegendre
Membre
Avatar de jlegendre
jlegendre
Membre

regarde aussi les irqs pour le nvme si t'as beaucoup d'interruptions et que ton irq balancer est pas bien configuré ou si ton soft a pas l'affinité cpu qui va bien ça peut créer des pics de latence

29/04/2025 à 01:27
Avatar de kpotier
kpotier
Membre Actif Rédacteur Secouriste
Avatar de kpotier
kpotier
Membre Actif Rédacteur Secouriste

le tuned-adm peut aider aussi y a des profils genre throughput-performance ou latency-performance qui peuvent tweak pas mal de trucs du kernel pour l'i/o

29/04/2025 à 20:13
Avatar de tanguy-francois
tanguy-francois
Auteur Actif
Avatar de tanguy-francois
tanguy-francois
Auteur Actif

ah le coup des irqs c'était ça ! en fait un dev avait mis un script pour forcer l'affinité d'un process sur un cpu mais ça a aussi mis les irqs du nvme sur ce même cpu du coup saturation du cpu pour les irqs. on a viré le script et ça va mieux. thx les gars !

30/04/2025 à 15:46

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire