Facture AWS s3 a explosé sans raison apparente
Membre depuis le 12/05/2024
bonjour la communauté finops ! on a eu une surprise ce mois-ci la facture aws pour s3 a fait x5 sans aucune raison apparente. on n'a pas déployé de nouvelle application ni eu d'augmentation de traffic connue. j'ai checké les buckets les access points les logs s3 analytics. j'ai rien vu d'anormal qui justifierait ça. le stockage a à peine bougé. j'ai l'impression que c lié aux requêtes ou au data transfer. une idée lumineuse ?
# commande aws cli pour récupérer le coût global s3
aws ce get-cost-and-usage --time-period Start=2023-01-01,End=2023-01-31 --granularity MONTHLY --metrics "BlendedCost" --group-by Type=DIMENSION,Key=SERVICE | jq '.ResultsByTime[].Groups[] | select(.Keys[] == "Amazon Simple Storage Service")'
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
xchauvet
Membre depuis le 04/05/2024
hello ! quand ça fait x5 c'est souvent un truc inattendu. as-tu vérifié les s3 lifecycle rules ? parfois une règle mal configurée archive des objets trop souvent ou trop tard et ça peut générer des coûts de transition ou de retrieval inattendus
leroy-margot
Membre depuis le 26/07/2024
ouais et le data transfer out ? t'as pas une app qui réplique des objets s3 vers une autre région ou une autre zone sans que tu saches ? ou des accès publics qui ont explosé ? check les métriques cloudwatch pour le data transfer out par bucket et par région
roger-paul
Membre depuis le 21/07/2024
regarde bien dans s3 storage lens ou cost explorer les "request types". si c'est les get requests ou list qui ont explosé c'est que y'a un process qui lit beaucoup. si c'est les put c'est des écritures massives. ça peut être une lambda qui s'est emballée
leroux-colette
Membre depuis le 22/07/2024
t'as des services qui interrogent s3 avec athena ou s3 select ? le coût de ces requêtes peut monter super vite si t'as des requêtes mal optimisées sur des petaoctets de données. et regarde le nombre de delete requests aussi des fois ça coûte plus cher qu'on pense
gros-victor
Membre depuis le 23/05/2024
glacier retrieval costs ? si des objets ont été mis en glacier et qu'il y a eu des demandes de récupération urgentes ça peut piquer. les instant retrieval sont chers. et la durée de stockage minimale des objets dans s3 intelligent-tiering ça peut impacter si les objets sont supprimés trop tôt
gerard-louise
Membre depuis le 21/07/2024
un scénario que j'ai vu c'est un outil de backup ou un script de sync qui s'est mis à resync tout un bucket de plusieurs to tous les jours parce qu'un timestamp ou un etag avait changé sur les fichiers source. ça génère des millions de get et put
zacharie-adam
Membre depuis le 18/07/2024
y'a pas une application tierce ou un partenaire qui accède à tes buckets via des credentials iam et qui aurait un bug ou un usage excessif ? vérifie les access logs s3 pour voir les ip et les user agents qui font le plus de requêtes
william-francois
Membre depuis le 12/05/2024
bon dieu vous êtes trop forts ! c'était l'expert 4 et 7 qui avaient raison en gros. une nouvelle lambda de "data quality" avait été déployée pour analyser nos logs bruts s3. sauf qu'elle était configurée pour lire tous les objets toutes les heures au lieu des nouveaux. résultat des millions de get/list requests par jour. j'ai corrigé la scope de la lambda. la facture va baisser ouf ! thx pour l'aide précieuse !