10 commentaires
on est à des dizaines de millions de put/get par jour. la taille moyenne c genre 5-10kb. et oui tout est en s3 standard. j'ai déjà regardé les lifecycle policies pour déplacer vers glacier mais c pas vraiment pour ça. les fichiers sont consultés régulièrement
avec autant de requêtes sur de petits objets S3 Intelligent-Tiering pourrait être intéressant ça gère les transitions entre les classes. ou si tu as des patterns d'accès connus tu peux définir des lifecycle policies plus fines pour archiver les objets non accédés pendant X jours mais qui restent potentiellement récupérables rapidement
intelligent-tiering j'y ai pensé mais c'est encore un coût en plus. et lifecycle je peux pas car certains fichiers vieux de plusieurs mois peuvent être accédés n'importe quand. pas super prédictible. du coup glacier deep archive serait peut-être une option extrême non ?
glacier deep archive c'est pas fait pour des accès réguliers ou même semi-réguliers. les coûts de récupération sont très élevés et ça prend des heures. si tes fichiers peuvent être consultés n'importe quand c'est une mauvaise idée. tu vas te ruiner en retrieval fees
ok compris pour deep archive mauvaise piste. du coup intelligent-tiering ou faut que je revois comment mon app interagit avec s3. il y a pas un moyen de batcher les put/get ?
ha oui regrouper les petits fichiers c'est une bonne idée. au lieu d'avoir 1000 objets de 10kb j'aurais 1 objet de 10mb. ça réduit les requêtes et le coût lié au nombre d'objets. ça nécessite de revoir l'archi de l'app mais ça vaut le coup
d'acc je vais investiguer le regroupement d'objets et revoir les patterns d'accès de l'app. thx beaucoup pour les conseils très utiles
Laisser une réponse
Vous devez être connecté pour poster un message !
yo tout le monde je suis en train de me tirer les cheveux sur notre facture AWS du mois. notre coût S3 a explosé de 30% en un mois sans qu'on ait vraiment une augmentation du volume de stockage. en regardant les métriques je vois que les requêtes PUT et GET sont la cause principale. on stocke beaucoup de petits fichiers (qq kb) pour une appli métier. des idées pour réduire ça