optimisation coûts s3 un cauchemar

yo. classique. souvent c'est les configs par défaut ou des montées en charge non anticipées

check si t'as des lifecycle policies sur tes buckets déjà. si tes logs ou backups sont en standard après 30j/60j ça monte vite. tu peux passer en infrequent access (IA) ou glacier

et aussi les object versionsing si c'est activé ça garde toutes les versions et ça coûte cher. désactive si pas besoin ou mets des règles de suppression auto

ok lifecycle policies pas grand chose d'activé sur les gros buckets. versioning j'ai que sur un bucket critique donc pas ça

pour les metrics j'ai vu beaucoup de get requests sur un bucket de logs vieux de 2 ans c'est chelou personne est censé lire là

ah les gets requests c'est une autre histoire. des scripts qui tournent encore et qui lisent d'anciennes archives ? ou un service mal configuré qui scanne tout

active S3 server access logging sur ce bucket pour voir d'où viennent les requêtes. ça va te donner l'IP et le user agent

bonne idée je vais activer ça de suite. ça va logger dans un autre bucket donc pas trop de surcoût j'espère

y'a une option S3 intelligent-tiering ça vaut le coup ?

intelligent-tiering c'est bien si t'as des patterns d'accès imprévisibles genre des trucs qui sont accédés parfois rarement parfois souvent. s3 gère tout seul le passage entre standard et IA ça peut faire baisser la facture mais c'est pas le plus agressif si t'es sûr que c'est du cold storage

pour tes logs et backups que tu sais cold c'est mieux de forcer avec des lifecycle rules vers glacier deep archive si tu peux te permettre les délais de récup

ok je vois. pour les logs le délai de récup est pas un souci c vraiment pour archivage légal

j'ai activé les logs du bucket de logs et je vois des requêtes venant d'une vieille instance ec2 qu'on avait oublié d'arrêter en dev elle fait un rsync historique

bingo ! la vie d'infra c'est ça les trucs qui traînent. arrête l'instance et supprime les accès s3 si plus besoin

ça devrait calmer les get requests et tu pourras mettre en place tes lifecycle rules vers glacier

instance stoppée et rsync désactivé. j'ai mis en place une lifecycle rule pour que les objets de plus de 60 jours passent en glacier deep archive

je vais voir l'impact sur le billing le mois prochain mais ça devrait être pas mal

nickel. petit conseil en plus regarde aussi les transferts de données out si t'as des gens qui téléchargent beaucoup ça coûte aussi. ça rentre pas dans le storage s3 mais dans les network costs

ah oui bien vu. là c'était vraiment le storage standard trop cher sur des vieux fichiers. merci pour l'aide ça m'a bien débrouillé