Performance I/O aléatoire sur disques EBS

Posté par alexandrie82 le 28/05/2024
RÉSOLU
Retour Répondre Créer

Avatar de alexandrie82

alexandrie82

Membre depuis le 30/12/2020

actif

bonjour les devs, on a des VMs (EC2) avec des volumes EBS gp3 et on observe des latences I/O qui spike aléatoirement. des fois c'est nickel 1-2ms et d'un coup ça monte à 100-200ms pendant quelques secondes puis ça redescend. ça arrive n'importe quand même quand le load est faible.

# exemple iostat
Device             r/s   w/s   rMB/s   wMB/s  rrqm/s  wrqm/s  %rrqm  %wrqm  r_await  w_await  aqu-sz  rareq-sz  wareq-sz  svctm  %util
nvme0n1           0.00  0.00    0.00    0.00    0.00    0.00   0.00   0.00     0.00     0.00    0.00      0.00      0.00   0.00   0.00

la métrique burst balance de l'ebs est toujours à 100%. les crédits sont pas le souci. des pistes sur ce qui pourrait causer ces micro-ralentissements ?

Commentaires

Avatar de elisabeth-mahe

elisabeth-mahe

Membre depuis le 29/06/2019

actif secouriste

salut t'as regardé la métrique CPU Steal Time sur tes instances EC2 ? si tu es sur une instance t2/t3/t4g et que tu manques de crédits CPU ça peut impacter les I/O disk vu que le système d'exploitation est ralenti. même si c'est pas les IOPS qui sont le souci, le traitement des IO par le kernel peut l'être.

Avatar de alexandrie82

alexandrie82

Membre depuis le 30/12/2020

actif

vous êtes des génies ! c'était les crédits cpu en fait. même si la cpu utilization était basse, le steal time montait en flèche pendant ces périodes. j'ai mis mes instances en t3.medium au lieu de t3.small et le problème a disparu. et j'ai trouvé un vieux cron qui faisait un find / -type f -mtime +30 -delete à des heures aléatoires. clean ! merci

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire