Perf I/O dégueu sur nouvelle VM Linux avec SSD NVMe

Posté par navarro-celina le 09/02/2025
RÉSOLU

navarro-celina

Membre depuis le 11/09/2024

Salut la commu, je viens d'installer une nouvelle VM sur Proxmox avec un SSD NVMe direct pas de RAID. OS Debian 11 kernel 5.10. J'ai installé un service qui fait pas mal d'I/O disques et les perfs sont vraiment pas terribles.

fio
me donne des résultats bizarres pour du NVMe je m'attendais à mieux. Genre
10k iops
en random read pour du 4k c très faible. J'ai checké le virtio-scsi tout ça semble ok.

# Exemple fio command
fio --name=random-read --ioengine=libaio --iodepth=64 --rw=randread --bs=4k --direct=1 --numjobs=1 --size=1G --runtime=60 --group_reporting

Commentaires

edouard21

Membre depuis le 17/04/2024

hello. t'as vérifié le scheduler I/O de ta VM ? par défaut sur Debian ça peut être

deadline
ou
cfq
selon le kernel et la conf. pour du NVMe faut absolument être en
noop
ou
none
. le scheduler est géré par le NVMe controller direct il faut pas que le kernel en ajoute un par dessus. ça peut dégrader grave les perfs.

cat /sys/block/nvme0n1/queue/scheduler

navarro-celina

Membre depuis le 11/09/2024

ah merde c'est bête j'y ai pas pensé ! c'est en

deadline
! je vais changer ça direct et refaire le
fio
. merci pour l'idée

edouard21

Membre depuis le 17/04/2024

c'est une erreur classique t'inquiète. après avoir changé en

noop
ou
none
n'oublie pas de rendre la modif persistante via grub ou un udev rule. si ça change rien regarde côté Proxmox si le cache est bien configuré pour le disque de la VM tu dois être en
writeback
ou
no-cache
(mais
writeback
avec
fua
ou
writethrough
c'est souvent mieux).

navarro-celina

Membre depuis le 11/09/2024

PUTAIN de scheduler ! en passant en

noop
j'ai pris genre 5x la perf en iops et la latence a chuté. c'était bien ça ! je vais mettre ça en place proprement. merci encore le sauveur !

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire