Linux kernel : Latence I/O sur VM avec beaucoup de cores

Membre depuis le 17/11/2024

salut ! j'ai une VM linux avec 64 cores virtuels et 256go de ram qui tourne sur un hyperviseur k8s (virt-manager derrière). mes applications font beaucoup d'I/O et je vois des latences énormes (>1s) sur des opérations disque, alors que c sur du stockage flash nvme. les logs système sont pleins de softirq. une idée d'où ça peut venir ?


# exemple de top
%cpu(s):  0.1 us,  0.1 sy,  0.0 ni, 99.8 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

04/08/25 à 19:09

Commentaires

michel-peron

Membre depuis le 21/05/2024

sur des machines avec autant de cores le souci c'est souvent la gestion des interruptions et la cohésion de cache. t'as vérifié ton scheduler I/O ? avec du nvme t'es censé être sur noop pas cfq ou deadline. aussi regarde l'irq affinity voir si les irq sont bien dispatchées sur tous les cpus

05/08/25 à 16:05

stephane-guilbert

Membre depuis le 02/10/2024

si t'es sur une archi NUMA (ce qui est probable avec autant de RAM/CPU), t'as ptete tes processus qui sautent de node en node. essaye de pinner tes apps sur des noeuds NUMA spécifiques avec numactl --membind=n --cpunodebind=n. ça réduit les latences mémoire et I/O

06/08/25 à 12:13

michele-martin

Membre depuis le 09/07/2024

check si t'as pas des soucis de lock contention au niveau du kernel. les softirq en pagaille c'est souvent un signe. un perf top -e softirq:softirq_entry pourrait te donner des indices

07/08/25 à 10:13

bbigot

Membre depuis le 17/11/2024

c'était la gestion NUMA ! en pinant mes threads I/O sur le même node NUMA que la mémoire et les disques virtuels, les latences sont revenues à des niveaux normaux (quelques ms). le noop était bien actif par contre. merci pour le coup de main c'était galère

08/08/25 à 05:37