Latence io_uring aléatoire sur PostgreSQL 15 avec kernel 6.x

Question

hello la commu! on a mis en place io_uring pour postgresql 15 sur une infra bare metal (nvme direct) kernel 6.2. la plupart du temps c'est hyper rapide mais on a des pics de latence i/o genre 500ms-1s aléatoirement. les disques ne sont pas saturés cpu ok
SHOW wal_writer_delay;
SHOW checkpoint_completion_target;
SHOW random_page_cost;

aurore-martineau · Answer

io_uring c'est génial mais ça peut être un enfer à tuner. t'as regardé les métriques iostat pendant les pics? surtout les await et %util. et quelle est ta queue depth pour io_uring dans postgres config?

wlelievre · Answer

iostat ok %util rarement au-dessus de 20% await monte à 300-400ms pendant les pics. queue depth pg est par défaut à 64 je crois

matthieu-briand · Answer

64 c'est peut-être trop pour ton workload surtout s'il y a bcp de petites transactions. io_uring aime bien un queue depth plus bas pour l'OLTP. et t'as checké ton scheduler I/O côté kernel? deadline cfq mq-deadline?

wlelievre · Answer

scheduler est mq-deadline. j'ai essayé de baisser la queue depth à 32 mais pas de changement significatif. les pics sont toujours là

aurore-martineau · Answer

mq-deadline c'est bien. est-ce que tu as une activité de checkpointing intense? des fois ça peut générer bcp d'i/o et le kernel galère avec io_uring sur des gros flush. t'as tes logs postgres avec les durées de checkpoint?

wlelievre · Answer

les checkpoints sont tous les 5min avec target à 0.9. durent environ 1-2s. rien d'extraordinaire. on dirait que c'est lié au WAL parfois

valentine-guillot · Answer

io_uring gère pas le WAL encore de base pour postgres. le WAL reste en sync I/O. si t'as des spikes de wal_sync_method ça peut être ça. vérifie tes fsync et full_page_writes

wlelievre · Answer

ah intéressant! full_page_writes est on. wal_sync_method est fdatasync. ptete que le souci vient des écritures WAL qui attendent trop? j'ai un petit burst d'activité write parfois

matthieu-briand · Answer

si le WAL est sur le même nvme que les données ça peut se cannibaliser. idéalement le WAL sur un nvme séparé. et t'as des paramètres spécifiques pour le vfs cache? min_free_kbytes ou dirty_ratio?

wlelievre · Answer

même nvme ouais. les param vfs cache sont par défaut. pas de min_free_kbytes custom. dirty_ratio 10% dirty_background_ratio 5%

aurore-martineau · Answer

ok. essaie d'isoler le WAL sur un disque différent pour voir. sinon pour io_uring des fois c'est un bug dans le driver nvme avec le kernel. t'as la dernière version du firmware de tes nvme?

wlelievre · Answer

firmware à jour. par contre j'ai trouvé un patch pour le kernel 6.2 concernant un bug io_uring avec certains nvme sous charge. je vais essayer de recompiler avec ça

matthieu-briand · Answer

un patch kernel c'est toujours une bonne piste pour ce genre de truc. bonne chance!

wlelievre · Answer

le patch kernel a résolu 90% des pics de latence! incroyable. j'ai aussi passé la queue depth postgres à 16 pour io_uring. la base respire enfin thx à tous

Latence io_uring aléatoire sur PostgreSQL 15 avec kernel 6.x

14 commentaires

Laisser une réponse

Gestion des différents événements en SDL 2

Introduction au DevOps

Référencer des tickets Work items sur GitLab

Data Mesh : L'Ère des Données Distribuées et l'Impact sur le DevOps

Le Futur du Calcul : Maîtriser la Matière Programmable avec DevOps

Rejoindre la communauté