perfs i/o aléatoires sur disques nvme sous linux

Question

yo la team j'ai des vm avec des disques nvme et les perfs i/o sont super erratiques un coup c'est la foudre un coup c'est hyper lent genre plusieurs centaines de ms de latence pour des petites écritures
# exemple de iostat -x output pendant une phase lente
device            r/s     w/s     rkb/s     wkb/s   rrqm/s   wrqm/s  %rrqm  %wrqm  r_await  w_await  aqu-sz  rareq-sz  wareq-sz  svctm  %util
nvme0n1          0.00   20.00      0.00    200.00     0.00    10.00   0.00  33.33    0.00   250.00     5.00      0.00     10.00  10.00  100.00

kpotier · Answer

salut t'es sur quel scheduler i/o deadline noop mq-deadline par défaut pour le nvme c'est souvent mq-deadline mais ça vaut le coup de vérifier si y a pas un truc qui override

alexandre-gosselin · Answer

et t'as check si t'es pas en train de taper les limites du vCPU ou de la vmware/kvm pour les iops des fois c'est pas le disque direct mais le chemin virtuel

tanguy-francois · Answer

je suis bien en mq-deadline côté vm et pas de souci de vCPU on est en 8 cpus pour 16gb et les métriques hyperviseur montrent pas de throttle. c vraiment centré sur le disque. les autres vm sur le même host ont pas le souci

jlegendre · Answer

regarde aussi les irqs pour le nvme si t'as beaucoup d'interruptions et que ton irq balancer est pas bien configuré ou si ton soft a pas l'affinité cpu qui va bien ça peut créer des pics de latence

kpotier · Answer

le tuned-adm peut aider aussi y a des profils genre throughput-performance ou latency-performance qui peuvent tweak pas mal de trucs du kernel pour l'i/o

tanguy-francois · Answer

ah le coup des irqs c'était ça ! en fait un dev avait mis un script pour forcer l'affinité d'un process sur un cpu mais ça a aussi mis les irqs du nvme sur ce même cpu du coup saturation du cpu pour les irqs. on a viré le script et ça va mieux. thx les gars !

perfs i/o aléatoires sur disques nvme sous linux

Commentaires

Laisser une réponse

Introduction à la Gestion de projets Informatiques

DevOps et méthodologie Agile

Introduction au cours complet sur Terraform

Rejoindre la communauté