Perf I/O dégueu sur serveur DB après upgrade kernel

Question

bonjour la communauté. après avoir upgrade le kernel sur nos serveurs postgres de production les perfs i/o ont chuté drastiquement. on est passé du kernel 5.15 à 6.2. les disques sont des nvme super rapides. avant on avait des iops de folie maintenant c tout lent. iostat montre des latences énormes

# Exemple de iostat -x 1
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.00    0.00    3.00   45.00    0.00   47.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
nvme0n1           0.00     0.00    0.00  100.00     0.00  400.00    8.00    15.00 150.00    0.00  150.00   5.00  50.00

martin-catherine · Answer

slt. kernel 6.2 c pas anodin. as-tu vérifié quel scheduler i/o est actif maintenant ? des fois les defaults changent d'une version à l'autre. regarde dans /sys/block/nvme0n1/queue/scheduler

emmanuelle-humbert · Answer

ouh là c'est cfq ! avant on était en noop il me semble. j'ai pas pensé à ça du tout. cfq c'est pas top pour les ssd non ?

claire49 · Answer

CFQ est une catastrophe pour les NVMe. c'est un scheduler conçu pour les disques rotatifs. pour les SSD et surtout les NVMe tu veux mq-deadline ou carrément none si ton hardware gère bien. le kernel 6.x a pu changer le default par erreur pour ton type de disque

emmanuelle-humbert · Answer

ok merci pour l'info je savais pas que cfq était encore là. comment je peux changer ça en live sans rebooter pour tester ?

martin-catherine · Answer

tu peux faire un echo mq-deadline > /sys/block/nvme0n1/queue/scheduler pour le nvme0n1. ça change à la volée. si ça améliore les perfs faut le rendre permanent via grub ou une règle udev

claire49 · Answer

oui teste ça. et aussi vérifie tes options de montage fstab pour tes filesystems. assure-toi d'avoir noatime et potentiellement discard pour les ssd. ça aide aussi avec les perfs

emmanuelle-humbert · Answer

vous avez tapé dans le mille ! j'ai switché en mq-deadline et les latences ont fondu. les iops sont revenus à la normale. je vais automatiser le changement. merci infiniment pour votre aide !

Perf I/O dégueu sur serveur DB après upgrade kernel

7 commentaires

Laisser une réponse

Introduction du cours pour apprendre le langage programmation GO

Apprendre à déboguer vos conteneurs et vos images Docker

eBPF : Le Superpouvoir DevOps pour l'Observabilité et la Sécurité

Anatomie de io_uring : La fin du goulot d'étranglement syscall

Terraform ou Crossplane : Quel outil contrôle réellement votre cloud ?

Rejoindre la communauté