Kernel Linux : iowait monstre sur une vm avec s3fs

Posté par robert63 le 30/09/2024
RÉSOLU
Retour Répondre Créer

Avatar de robert63

robert63

Membre depuis le 25/05/2019

hello l'équipe, j'ai une vm ubuntu sur aws (ec2) avec un disque monté via s3fs. j'ai un iowait énorme genre 70-80% alors que la machine est pas censée faire tant d'io. les accès au s3fs sont pas massifs. iostat -x 1 le confirme. ça vous dit qqc ?

# iostat -x 1 (extrait)
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          10.20    0.00   15.50   72.30    0.00    2.00

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
loop0             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
nvme0n1          20.00    5.00    200.00     50.00     0.00     0.00   0.00   0.00    5.00   10.00   0.10    10.00    10.00   1.00   2.50

Commentaires

Avatar de audrey-renard

audrey-renard

Membre depuis le 27/02/2019

s3fs c'est connu pour ça. c'est un fuse filesystem donc ça passe par le kernel userspace ce qui rajoute de l'overhead. t'as essayé de jouer avec les options de montage ? genre -o allow_other -o use_cache=/tmp/s3cache -o multireq_max=5

Avatar de alex20

alex20

Membre depuis le 21/05/2024

ouaip et t'es sûr que c'est pas tes applications qui font des opérations de fichier qui génèrent beaucoup de petits accès ? s3fs aime pas trop ça les petits fichiers ou les listes de répertoire géantes. check aussi la version de s3fs des fois il y a des bugs corrigés

Avatar de audrey-renard

audrey-renard

Membre depuis le 27/02/2019

y'a aussi le problème du `stat()` sur s3fs. chaque ls ou stat peut déclencher un appel api s3 ce qui est lent. si ton app ou un outil de monitoring fait ça en boucle ça pète l'iowait. tu peux essayer l'option -o enable_ino ou -o no_check_md5 mais attention ça a des implications

Avatar de robert63

robert63

Membre depuis le 25/05/2019

c'était bien ça ! l'option -o use_cache=/tmp/s3cache combinée à -o multireq_max=10 a fait des miracles. j'avais aussi une app qui faisait trop de ls -lR sur le mountpoint et ça mettait à genoux. j'ai mis en place un cron pour les gros scans. iowait est redescendu à 5-10%. merci les gars pour les tips !

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire