facture s3 trop salée pour un env de staging

Question

bonjour les devs j'ai la facture s3 qui arrive et pour notre environnement de staging ça explose. c'est un bucket qui stocke des dumps de prod (anonymisés) et quelques assets. on est genre à 500 balles par mois alors que la prod c'est 200. il doit y avoir un truc qui cloche je pige pas

michel57 · Answer

salut. t'es sur quelle classe de stockage pour ce bucket staging ? si c'est du standard par défaut et que t'as beaucoup de petits objets ou beaucoup de requêtes ça monte vite. le coût n'est pas que le stockage c'est aussi les requêtes get/put

alphonse-legall · Answer

ouais check aussi si y'a pas de data transfer out bizarre. genre des gens qui téléchargent tes dumps ou des applications qui répliquent des données vers d'autres régions sans que tu saches. active s3 access logs si c'est pas déjà fait et regarde les hits

manon29 · Answer

@user_key_2 c'est du standard S3 pour le staging. pour les dumps c'est de l'objet plus ou moins gros. @user_key_3 ah oui data transfer out j'y ai pas pensé. je vais activer les logs. mais ça m'étonnerait qu'on ait tant de téléchargements que ça

michel57 · Answer

passe tes dumps sur S3 Glacier Deep Archive si c'est des données que tu consultes rarement. le coût de stockage est ridicule. les assets de staging peuvent aller en S3 Standard-IA si c'est peu accédé. adapte la classe au cycle de vie de l'objet

gbonnin · Answer

t'as pas de versioning activé par hasard avec des règles de cycle de vie qui gardent toutes les versions indéfiniment ? ça peut multiplier la taille du bucket sans que tu t'en rendes compte si t'as beaucoup de mises à jour

alphonse-legall · Answer

ouais et des fois y'a des outils de backup qui copient tout un bucket pour un test et oublient de clean. regarde la taille totale de ton bucket dans la console et les nombres d'objets, ça donne une idée

manon29 · Answer

merde @user_key_4 t'as tapé dans le mille. le versioning est activé sans règles de cycle de vie. j'ai 10x la taille des objets réels. et en plus j'ai activé les access logs et je vois des requêtes get d'une ip externe toutes les 5min. on dirait un crawler ou un truc qui scrappe nos assets

michel57 · Answer

versioning sans lifecycle c'est un classique pour les grosses factures S3. configure des règles pour purger les vieilles versions. et pour l'IP externe, t'as un bucket public ou c'est un accès via des creds ? faut sécuriser ça vite fait si c'est pas voulu

manon29 · Answer

nan le bucket est privé j'ai des policies IAM. j'ai bloqué l'IP suspecte. je vais régler le versioning et passer certains objets en IA. merci pour l'aide les gars ! la prochaine fois je regarde d'abord les logs et les classes de stockage

facture s3 trop salée pour un env de staging

Commentaires

Laisser une réponse

Augmenter les performances de votre Playbook

Découverte de mon extension VsCode

Comprendre, Gérer et Manipuler un cluster Docker Swarm

Rejoindre la communauté