Perf I/O dégueu sur nouvelle VM Linux avec SSD NVMe

Question

Salut la commu, je viens d'installer une nouvelle VM sur Proxmox avec un SSD NVMe direct pas de RAID. OS Debian 11 kernel 5.10. J'ai installé un service qui fait pas mal d'I/O disques et les perfs sont vraiment pas terribles. fio me donne des résultats bizarres pour du NVMe je m'attendais à mieux. Genre 10k iops en random read pour du 4k c très faible. J'ai checké le virtio-scsi tout ça semble ok.
# Exemple fio command
fio --name=random-read --ioengine=libaio --iodepth=64 --rw=randread --bs=4k --direct=1 --numjobs=1 --size=1G --runtime=60 --group_reporting

edouard21 · Answer

hello. t'as vérifié le scheduler I/O de ta VM ? par défaut sur Debian ça peut être deadline ou cfq selon le kernel et la conf. pour du NVMe faut absolument être en noop ou none. le scheduler est géré par le NVMe controller direct il faut pas que le kernel en ajoute un par dessus. ça peut dégrader grave les perfs.
cat /sys/block/nvme0n1/queue/scheduler

navarro-celina · Answer

ah merde c'est bête j'y ai pas pensé ! c'est en deadline ! je vais changer ça direct et refaire le fio. merci pour l'idée

edouard21 · Answer

c'est une erreur classique t'inquiète. après avoir changé en

noop

ou

none

n'oublie pas de rendre la modif persistante via grub ou un udev rule. si ça change rien regarde côté Proxmox si le cache est bien configuré pour le disque de la VM tu dois être en

writeback

ou

no-cache

(mais

writeback

avec

fua

ou

writethrough

c'est souvent mieux).

navarro-celina · Answer

PUTAIN de scheduler ! en passant en noop j'ai pris genre 5x la perf en iops et la latence a chuté. c'était bien ça ! je vais mettre ça en place proprement. merci encore le sauveur !

Perf I/O dégueu sur nouvelle VM Linux avec SSD NVMe

Commentaires

Laisser une réponse

Cours complet d'introduction à la SDL 2

Les méthodes pour ajouter des fichiers à votre projet GitLab

Déploiement et Backup automatique d'une application Symfony 4

Rejoindre la communauté