Perf I/O dégueu sur nouvelle VM Linux avec SSD NVMe

RSS
navarro-celina 09/02/2025
RÉSOLU
Retour Répondre
Avatar de navarro-celina
navarro-celina
Auteur Actif
Avatar de navarro-celina
navarro-celina
Auteur Actif

Salut la commu, je viens d'installer une nouvelle VM sur Proxmox avec un SSD NVMe direct pas de RAID. OS Debian 11 kernel 5.10. J'ai installé un service qui fait pas mal d'I/O disques et les perfs sont vraiment pas terribles. 

fio
me donne des résultats bizarres pour du NVMe je m'attendais à mieux. Genre 
10k iops
en random read pour du 4k c très faible. J'ai checké le virtio-scsi tout ça semble ok.

# Exemple fio command
fio --name=random-read --ioengine=libaio --iodepth=64 --rw=randread --bs=4k --direct=1 --numjobs=1 --size=1G --runtime=60 --group_reporting
09/02/2025 à 22:10

4 commentaires

Avatar de edouard21
edouard21
Membre Actif
Avatar de edouard21
edouard21
Membre Actif

hello. t'as vérifié le scheduler I/O de ta VM ? par défaut sur Debian ça peut être 

deadline
ou 
cfq
selon le kernel et la conf. pour du NVMe faut absolument être en 
noop
ou 
none
. le scheduler est géré par le NVMe controller direct il faut pas que le kernel en ajoute un par dessus. ça peut dégrader grave les perfs.

cat /sys/block/nvme0n1/queue/scheduler
10/02/2025 à 18:00
Avatar de navarro-celina
navarro-celina
Auteur Actif
Avatar de navarro-celina
navarro-celina
Auteur Actif

ah merde c'est bête j'y ai pas pensé ! c'est en 

deadline
! je vais changer ça direct et refaire le 
fio
. merci pour l'idée

11/02/2025 à 16:43
Avatar de edouard21
edouard21
Membre Actif
Avatar de edouard21
edouard21
Membre Actif

c'est une erreur classique t'inquiète. après avoir changé en 

noop
ou 
none
n'oublie pas de rendre la modif persistante via grub ou un udev rule. si ça change rien regarde côté Proxmox si le cache est bien configuré pour le disque de la VM tu dois être en 
writeback
ou 
no-cache
(mais 
writeback
avec 
fua
ou 
writethrough
c'est souvent mieux).

12/02/2025 à 11:44
Avatar de navarro-celina
navarro-celina
Auteur Actif
Avatar de navarro-celina
navarro-celina
Auteur Actif

PUTAIN de scheduler ! en passant en 

noop
j'ai pris genre 5x la perf en iops et la latence a chuté. c'était bien ça ! je vais mettre ça en place proprement. merci encore le sauveur !

13/02/2025 à 11:42

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire