Facture S3 qui explose à cause des requêtes PUT

yo des millions de petits fichiers c'est la mort des requêtes PUT. il faut que tes applis ou un agent intermédiaire fassent du batching. au lieu de 1 fichier par log, tu collectes 100 ou 1000 logs et tu les mets dans un seul fichier zip ou gzip et tu fais un PUT. ça réduira drastiquement ton nombre de PUTs

exact le batching c'est clé. sinon t'as des policies de lifecycle sur ton bucket ? si tes logs ne sont consultés que les premières semaines, tu peux les passer en S3 Infrequent Access (IA) après 30 jours et en Glacier après 60 ou 90. ça ne réduira pas les PUTs mais ça baissera le coût de stockage global

intelligent-tiering est pour le stockage oui ça va pas t'aider sur les puts. ton problème c'est le nombre de requêtes. si tu ne veux pas changer les apps directement tu peux mettre un service intermédiaire genre kinesis firehose. tu envoies tous tes logs à firehose et lui il batch et les écrit sur s3 pour toi. ça coûte mais sûrement moins que des millions de puts direct

firehose c'est une très bonne option pour ça. tu peux configurer la taille du batch ou la durée avant de flush sur s3. ça peut être un bon compromis pour pas toucher aux microservices directement

s3 transfer acceleration c'est pour la vitesse d'upload pas pour le coût des requêtes. ça ne t'aidera pas. firehose est la solution aws managée la plus simple pour ton use-case de batching. sinon c'est un agent type fluentd/fluentbit sur chaque instance qui collecte et push des fichiers plus gros.

ouais un fluentd/fluentbit c'est une option si tu gères tes instances EC2. mais ça rajoute une infra à maintenir. firehose c'est managé et ça scale bien. compare les coûts firehose vs le coût actuel de tes PUTs. t'auras sûrement une économie massive.