Perf disque random lent sur NVMe Linux

Question

salut la compagnie. j'ai une VM linux avec un NVMe qui est censé être ultra rapide et mes perfs en random read/write sont décevantes. j'ai 100k iops en theorie et je peine à atteindre 15k. je rate quoi coté kernel ou tuning ?

# quelques infos système
uname -a
Linux my-vm 5.15.0-78-generic #85-Ubuntu SMP Mon Jul 17 09:27:07 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

lsblk -o NAME,FSTYPE,SIZE,MOUNTPOINT,SCHED,RQ_SIZE
nvme0n1     ext4    100G /mnt/data   mq-deadline     256

cmathieu · Answer

alors pour le nvme le mq-deadline c'est bien mais tu peux essayer none (noop) des fois c'est mieux ou le kyber. et check ton blockdev --setra /dev/nvme0n1 ça aide des fois de monter le readahead. sinon un fio pour mesurer c'est quoi tes vraies perfs

rdiallo · Answer

c'est une vm ? sur quel hyperviseur ? vmware kvm ? des fois le driver paravirtualisé ou le cache de l'hyperviseur peuvent brider. t'as quelle version des drivers virtio si c'est kvm

laurent-jean · Answer

le filesystem ext4 est monté avec quelles options ? noatime nodiratime pour les iops c'est mieux. et le trim/discard est actif pour le nvme ? fstrim -av ou option discard au mount

cmathieu · Answer

faut bien isoler le souci avec fio. un truc du genre : fio --name=rand_rw --ioengine=libaio --iodepth=64 --rw=randrw --bs=4k --size=10G --numjobs=4 --runtime=60 --filename=/mnt/data/testfile --direct=1 --group_reporting

rdiallo · Answer

y'a pas de swap sur ce disque ? si y'a de la swap et qu'elle est sollicitée ça peut plomber les perfs. regarde avec free -h et vmstat

laurent-jean · Answer

et ton kernel 5.15 est récent ça va. mais regarde si des fois ton cpu est pas en train de thrash. genre cpu steal time élevé sur une vm shared. avec sar ou top

cmathieu · Answer

la queue depth du nvme driver et du controlleur virtio est elle bien configurée ? tu peux voir ça avec cat /sys/block/nvme0n1/queue/nr_requests

rdiallo · Answer

le cache ecriture sur le nvme lui même ? tu peux le voir avec hdparm -I /dev/nvme0n1 mais sur les nvme c'est moins courant qu'avant

laurent-jean · Answer

et la taille des blocs utilisés par l'appli vs la taille des blocs du filesystem ? ça peut créer des soucis d'alignement si pas pareil

cecile-guyon · Answer

ok un gros merci à tous ! c'était un combo de plusieurs trucs. le fio a été super utile ça m'a permis de voir que le problème était vraiment au niveau bloc. j'ai mis le scheduler à 'none' et surtout j'ai augmenté la queue depth de l'hyperviseur (kvm) pour la vm. en plus j'avais oublié le discard sur le mount. maintenant je suis à 80k iops c'est déjà bcp mieux !

Perf disque random lent sur NVMe Linux

10 commentaires

Laisser une réponse

Comprendre et manipuler le scheduler Kubernetes

L'histoire du DevOps

Introduction Maîtriser l'automatisation avec le guide complet GitLab CI/CD

L'IA Redéfinit l'Architecture Logicielle : Vers des Systèmes Auto-Conçus en DevOps

Tuto : Pilotez votre Flotte IoT avec GitOps et ArgoCD

Rejoindre la communauté