Facture S3 qui explose à cause des requêtes PUT/GET

salut. combien de requêtes put/get tu as par jour environ ? et quelle est la taille moyenne de tes objets ? est-ce que tu utilises bien la classe de stockage standard pour les objets fréquemment accédés ?

on est à des dizaines de millions de put/get par jour. la taille moyenne c genre 5-10kb. et oui tout est en s3 standard. j'ai déjà regardé les lifecycle policies pour déplacer vers glacier mais c pas vraiment pour ça. les fichiers sont consultés régulièrement

avec autant de requêtes sur de petits objets S3 Intelligent-Tiering pourrait être intéressant ça gère les transitions entre les classes. ou si tu as des patterns d'accès connus tu peux définir des lifecycle policies plus fines pour archiver les objets non accédés pendant X jours mais qui restent potentiellement récupérables rapidement

intelligent-tiering j'y ai pensé mais c'est encore un coût en plus. et lifecycle je peux pas car certains fichiers vieux de plusieurs mois peuvent être accédés n'importe quand. pas super prédictible. du coup glacier deep archive serait peut-être une option extrême non ?

glacier deep archive c'est pas fait pour des accès réguliers ou même semi-réguliers. les coûts de récupération sont très élevés et ça prend des heures. si tes fichiers peuvent être consultés n'importe quand c'est une mauvaise idée. tu vas te ruiner en retrieval fees

ok compris pour deep archive mauvaise piste. du coup intelligent-tiering ou faut que je revois comment mon app interagit avec s3. il y a pas un moyen de batcher les put/get ?

batcher oui absolument ! si c'est plein de petits fichiers tu peux les zipper les regrouper dans un seul objet plus gros sur s3. ça réduirait drastiquement ton nombre de requêtes. c'est un travail côté appli par contre

ha oui regrouper les petits fichiers c'est une bonne idée. au lieu d'avoir 1000 objets de 10kb j'aurais 1 objet de 10mb. ça réduit les requêtes et le coût lié au nombre d'objets. ça nécessite de revoir l'archi de l'app mais ça vaut le coup

oui c'est la solution la plus efficace pour ton cas je pense. pense aussi à regarder si tu n'as pas des requêtes inutiles des retries agressifs ou des scans complets de buckets qui se lancent trop souvent. des fois ça vient aussi de là

d'acc je vais investiguer le regroupement d'objets et revoir les patterns d'accès de l'app. thx beaucoup pour les conseils très utiles