Facture S3 monstrueuse pour un bucket de logs

hello

10TB de logs qui sont rarement accédés, ça crie "lifecycle rules". t'as configuré des règles de transition vers des classes de stockage moins chères genre S3 Standard-IA (Infrequent Access) ou Glacier Deep Archive ? IA c'est moins cher au Go stocké mais plus cher à l'accès. Deep Archive encore moins cher mais retrieval plus long et cher.

ouais, et c'est quoi le pattern d'accès ? tu dis "une ou deux fois par mois". si c'est des petits fichiers à chaque fois, ça peut générer bcp de requêtes GET/LIST et ça chiffre vite. regardes les métriques CloudWatch sur les `GET` et `LIST` requests.

merci les gars

user_key:3 non j'ai pas mis de lifecycle rules, tout est en Standard. je pensais que c'était le default le moins cher. user_key:4 c'est surtout des gros fichiers de logs qui sont créés toutes les heures. quand on y accède c'est pour télécharger un ou deux fichiers spécifiques, pas des millions de petites requêtes.

non Standard c'est pour du stockage chaud, accès fréquent. pour ton usage il faut vraiment des lifecycle rules. un truc simple : transition vers Standard-IA après 30 jours, puis vers Glacier après 90 jours, puis Deep Archive après 180 jours. ça va faire chuter le coût de stockage par Go.

pense aussi aux frais de `PUT` si tu uploades bcp de petits fichiers. si chaque log est un objet S3, même petit, le nombre de `PUT` peut coûter cher. si c le cas, essaye de regrouper les logs en objets plus grands avant d'uploader, genre un fichier par heure au lieu d'un fichier par logline.

ah ok je comprends mieux. j'ai bien des millions de petits fichiers de logs qui sont uploadés toutes les minutes par nos applications. je pensais pas que les `put` coûtaient si cher.

voilà, t'as le coupable. millions de `PUT` + stockage en Standard pour des logs froids. c la recette pour la facture salée. mets en place les lifecycle rules et revois la stratégie d'upload pour agréger tes logs.

ok super ! je vais mettre ça en place. je vais devoir modifier nos apps pour qu'elles streament les logs vers un service qui consolide avant de les uploader sur S3. ça va prendre un peu de temps mais ça devrait valoir le coup. merci pour l'aide !