Facture AWS s3 a explosé sans raison apparente

william-francois 15/05/2025
RÉSOLU
william-francois
Auteur Actif
Avatar de william-francois
william-francois
Auteur Actif

bonjour la communauté finops ! on a eu une surprise ce mois-ci la facture aws pour s3 a fait x5 sans aucune raison apparente. on n'a pas déployé de nouvelle application ni eu d'augmentation de traffic connue. j'ai checké les buckets les access points les logs s3 analytics. j'ai rien vu d'anormal qui justifierait ça. le stockage a à peine bougé. j'ai l'impression que c lié aux requêtes ou au data transfer. une idée lumineuse ?


# commande aws cli pour récupérer le coût global s3
aws ce get-cost-and-usage --time-period Start=2023-01-01,End=2023-01-31 --granularity MONTHLY --metrics "BlendedCost" --group-by Type=DIMENSION,Key=SERVICE | jq '.ResultsByTime[].Groups[] | select(.Keys[] == "Amazon Simple Storage Service")'
15/05/2025 à 12:19

8 commentaires

xchauvet
Membre Actif
Avatar de xchauvet
xchauvet
Membre Actif

hello ! quand ça fait x5 c'est souvent un truc inattendu. as-tu vérifié les s3 lifecycle rules ? parfois une règle mal configurée archive des objets trop souvent ou trop tard et ça peut générer des coûts de transition ou de retrieval inattendus

16/05/2025 à 07:08
leroy-margot
Membre Actif
Avatar de leroy-margot
leroy-margot
Membre Actif

ouais et le data transfer out ? t'as pas une app qui réplique des objets s3 vers une autre région ou une autre zone sans que tu saches ? ou des accès publics qui ont explosé ? check les métriques cloudwatch pour le data transfer out par bucket et par région

17/05/2025 à 02:28
roger-paul
Membre Actif
Avatar de roger-paul
roger-paul
Membre Actif

regarde bien dans s3 storage lens ou cost explorer les "request types". si c'est les get requests ou list qui ont explosé c'est que y'a un process qui lit beaucoup. si c'est les put c'est des écritures massives. ça peut être une lambda qui s'est emballée

17/05/2025 à 22:21
leroux-colette
Membre Actif
Avatar de leroux-colette
leroux-colette
Membre Actif

t'as des services qui interrogent s3 avec athena ou s3 select ? le coût de ces requêtes peut monter super vite si t'as des requêtes mal optimisées sur des petaoctets de données. et regarde le nombre de delete requests aussi des fois ça coûte plus cher qu'on pense

18/05/2025 à 18:09
gros-victor
Membre Actif Secouriste
Avatar de gros-victor
gros-victor
Membre Actif Secouriste

glacier retrieval costs ? si des objets ont été mis en glacier et qu'il y a eu des demandes de récupération urgentes ça peut piquer. les instant retrieval sont chers. et la durée de stockage minimale des objets dans s3 intelligent-tiering ça peut impacter si les objets sont supprimés trop tôt

19/05/2025 à 12:13
gerard-louise
Membre Actif
Avatar de gerard-louise
gerard-louise
Membre Actif

un scénario que j'ai vu c'est un outil de backup ou un script de sync qui s'est mis à resync tout un bucket de plusieurs to tous les jours parce qu'un timestamp ou un etag avait changé sur les fichiers source. ça génère des millions de get et put

20/05/2025 à 10:58
zacharie-adam
Membre Actif
Avatar de zacharie-adam
zacharie-adam
Membre Actif

y'a pas une application tierce ou un partenaire qui accède à tes buckets via des credentials iam et qui aurait un bug ou un usage excessif ? vérifie les access logs s3 pour voir les ip et les user agents qui font le plus de requêtes

21/05/2025 à 07:10
william-francois
Auteur Actif
Avatar de william-francois
william-francois
Auteur Actif

bon dieu vous êtes trop forts ! c'était l'expert 4 et 7 qui avaient raison en gros. une nouvelle lambda de "data quality" avait été déployée pour analyser nos logs bruts s3. sauf qu'elle était configurée pour lire tous les objets toutes les heures au lieu des nouveaux. résultat des millions de get/list requests par jour. j'ai corrigé la scope de la lambda. la facture va baisser ouf ! thx pour l'aide précieuse !

22/05/2025 à 02:24

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire