Perf I/O dégueu sur serveur DB après upgrade kernel

Question

bonjour la communauté. après avoir upgrade le kernel sur nos serveurs postgres de production les perfs i/o ont chuté drastiquement. on est passé du kernel 5.15 à 6.2. les disques sont des nvme super rapides. avant on avait des iops de folie maintenant c tout lent. `iostat` montre des latences énormes

# Exemple de iostat -x 1
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.00    0.00    3.00   45.00    0.00   47.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
nvme0n1           0.00     0.00    0.00  100.00     0.00  400.00    8.00    15.00 150.00    0.00  150.00   5.00  50.00

martin-catherine · Answer

slt. kernel 6.2 c pas anodin. as-tu vérifié quel scheduler i/o est actif maintenant ? des fois les defaults changent d'une version à l'autre. regarde dans `/sys/block/nvme0n1/queue/scheduler`

emmanuelle-humbert · Answer

ouh là c'est `cfq` ! avant on était en `noop` il me semble. j'ai pas pensé à ça du tout. cfq c'est pas top pour les ssd non ?

claire49 · Answer

CFQ est une catastrophe pour les NVMe. c'est un scheduler conçu pour les disques rotatifs. pour les SSD et surtout les NVMe tu veux `mq-deadline` ou carrément `none` si ton hardware gère bien. le kernel 6.x a pu changer le default par erreur pour ton type de disque

emmanuelle-humbert · Answer

ok merci pour l'info je savais pas que cfq était encore là. comment je peux changer ça en live sans rebooter pour tester ?

martin-catherine · Answer

tu peux faire un `echo mq-deadline > /sys/block/nvme0n1/queue/scheduler` pour le nvme0n1. ça change à la volée. si ça améliore les perfs faut le rendre permanent via grub ou une règle udev

claire49 · Answer

oui teste ça. et aussi vérifie tes options de montage fstab pour tes filesystems. assure-toi d'avoir `noatime` et potentiellement `discard` pour les ssd. ça aide aussi avec les perfs

emmanuelle-humbert · Answer

vous avez tapé dans le mille ! j'ai switché en `mq-deadline` et les latences ont fondu. les iops sont revenus à la normale. je vais automatiser le changement. merci infiniment pour votre aide !

Perf I/O dégueu sur serveur DB après upgrade kernel

Commentaires

Laisser une réponse

La Posture de Sécurité DevOps Réinventée par l'Intelligence Artificielle

L'IA Explicable au Cœur du DevOps : Construire la Confiance et la Transparence

Ambient Mesh : Simplifiez vos microservices, réinventez l'orchestration et la sécurité

Rejoindre la communauté