coût AWS S3 standard IA Storage Class qui explose

Question

salut la team on a une facture s3 standard-ia qui a explosé ce mois-ci et je capte pas pourquoi. on a pas changé notre façon d'utiliser s3 les objets sont bien des données rarement accédées. le volume de données n'a pas augmenté tant que ça. ça monte en flèche au niveau des GET requests et retrieval. c'est quoi ce délire ?

jacques-gauthier · Answer

standard-ia c'est pour les accès peu fréquents mais pas inexistants. si tu as des applications ou des process qui font du scanning intensif de ton bucket ou qui listent énormément les objets (listobjects api calls) ça peut générer des coûts de requêtes monstrueux même si tu récupères peu de données

lucy-duval · Answer

précisément le retrieval cost est haut. ça veut dire que des objets ont été consultés. t'as un nouveau rapport qui tourne sur s3 tous les jours ? un data lake crawler qui scanne tout ? regarde cloudtrail pour voir d'où viennent les requêtes GET et LIST

orenard · Answer

ouais et attention aux métriques s3. le minimum billing duration pour IA c'est 30 jours. si tu mets un objet et le supprimes avant 30 jours tu paies quand même pour 30 jours de stockage. et le minimum object size est 128KB. si tu stockes plein de petits objets tu paies pour 128KB par objet

jacques-gauthier · Answer

c'est aussi ptete une application qui a un bug et qui fait des retries agressifs sur s3 après des erreurs. chaque retry c'est une nouvelle requête et c'est facturé. regarde les logs d'accès s3 si tu les as activés

lucy-duval · Answer

ou un développeur qui a mal configuré un outil de backup/restore et qui rescanne ou re-sync tout le bucket à chaque fois sans incrémental. ça m'est déjà arrivé une fois un truc pareil. la facture s3 avait pris cher

elise61 · Answer

ok je vais creuser cloudtrail et les logs d'accès. on a des nouveaux dashboards qui ont été déployés récemment qui scannt pas mal de trucs via athena et des buckets s3. ptete que les requêtes athena derrière s3 génèrent ces retrievals massifs

orenard · Answer

athena c'est potentiellement ça. chaque requête athena scanne des données sur s3. si tu as des requêtes mal optimisées qui scannent des pétaoctets de données à chaque fois ça va te coûter un bras surtout sur du IA avec les coûts de retrieval

elise61 · Answer

bingo c'est athena. un des dashboards faisait une requête très gourmande toutes les heures sur un très grand dataset. ça scannait quasi tout le bucket à chaque fois. on a optimisé la requête et la facture a commencé à redescendre. thx tout le monde pour l'aide !

coût AWS S3 standard IA Storage Class qui explose

Commentaires

Laisser une réponse

TP créer une application de chat dans le langage de programmation Go

Avantages et fonctionnement d'Ansible

Cours complet d'introduction à la SDL 2

Rejoindre la communauté