Facture AWS S3 qui explose pour rien

virginie-morvan 07/06/2024
RÉSOLU
virginie-morvan
Auteur Rédacteur
Avatar de virginie-morvan
virginie-morvan
Auteur Rédacteur

bonjour les cost optimizers. j'ai un bucket s3 qui me fait des misères. la facture de s3 a doublé ce mois-ci alors que le volume de données n'a presque pas bougé. j'ai check les métriques cloudwatch et je vois rien d'anormal. y a un truc que je loupe ?

07/06/2024 à 11:19

12 commentaires

mendes-bertrand
Membre Actif
Avatar de mendes-bertrand
mendes-bertrand
Membre Actif

t'as le versioning activé sur ce bucket ? des fois les anciennes versions ou les delete markers s'accumulent et ça coûte cher. regarde aussi les incomplete multi-part uploads

08/06/2024 à 09:23

analytics and inventory sont activés ? ça coûte un peu mais ça peut te donner des insights sur les patterns d'accès. et pas de transition vers glacier en auto qui aurait échoué et resterait en s3 standard sans raison

09/06/2024 à 04:12
gbuisson
Membre Secouriste
Avatar de gbuisson
gbuisson
Membre Secouriste

cross-region replication sur ce bucket ? les transferts de données entre régions ça coûte une blinde et ça peut vite faire gonfler la note

10/06/2024 à 02:30
stephane56
Membre Actif
Avatar de stephane56
stephane56
Membre Actif

regarde le nombre de requêtes get/put/list/select dans cloudwatch au niveau des métriques s3. c'est souvent ça qui pique. et un cloudtrail log pour voir qui fait quoi sur le bucket

11/06/2024 à 00:31
mendes-bertrand
Membre Actif
Avatar de mendes-bertrand
mendes-bertrand
Membre Actif

si le bucket est public est-ce que tu as des requêtes d'accès non légitimes ? un site web qui pointe dessus et qui se fait ddos ?

11/06/2024 à 20:36

t'as des services qui backuppent dedans ? rds snapshots ou ebs snapshots qui iraient dans s3 par défaut. ou des images ecr qui polluent le bucket de registry

12/06/2024 à 15:58
gbuisson
Membre Secouriste
Avatar de gbuisson
gbuisson
Membre Secouriste

des fois les lambda logs ou autre logging system jettent trop de fichiers logs petits mais très nombreux dans s3 et ça fait exploser les coûts de requêtes

13/06/2024 à 14:40
stephane56
Membre Actif
Avatar de stephane56
stephane56
Membre Actif

un truc à la con : si tu as des s3 event notifications qui déclenchent des lambdas ou des sfn. si les événements sont trop fréquents ça coûte cher en execution et en s3 events

14/06/2024 à 10:53
mendes-bertrand
Membre Actif
Avatar de mendes-bertrand
mendes-bertrand
Membre Actif

storage lens peut donner une vue agrégée sur les coûts par catégorie d'objets ou de requêtes. c'est pas gratuit mais si t'as des gros soucis ça peut t'aider

15/06/2024 à 09:46

re-check tes lifecycle rules. si elles sont mal configurées elles peuvent ne pas nettoyer ce qu'elles devraient ou au contraire transitionner trop vite et après ça coûte en retrieval

16/06/2024 à 04:26
gbuisson
Membre Secouriste
Avatar de gbuisson
gbuisson
Membre Secouriste

des amis ont eu le coup avec un dev qui a activé le s3 object lock sans savoir et ça a bloqué la suppression des anciennes versions. ça coûte une fortune

17/06/2024 à 00:47
virginie-morvan
Auteur Rédacteur
Avatar de virginie-morvan
virginie-morvan
Auteur Rédacteur

ok je pense que j'ai trouvé ! c'était un combo de trucs. le versioning était activé mais la lifecycle policy était buggée et ne nettoyait pas les versions non courantes. du coup j'avais des millions de delete markers et de vieilles versions. en plus le cloudtrail a montré un process qui faisait des listObjects super souvent ce qui a gonflé les coûts de requêtes. merci pour toutes les pistes j'ai appris plein de trucs !

17/06/2024 à 21:52

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire