FinOps comment réduire la facture S3

Déjà bonne initiative pour les lifecycle rules. T'as regardé les coûts de retrieval depuis S3-IA et Glacier ? Des fois on gagne sur le stockage mais on perd sur l'accès si les données sont souvent récupérées. Faut un bon équilibre entre le coût de stockage et le coût d'accès. S3-IA c'est pour l'accès peu fréquent, pas pour du quasi-standard.

Et la taille des objets ? Si t'as des millions de petits objets (quelques ko), les coûts de requêtes (GET/PUT) peuvent s'accumuler. C'est pas juste le stockage qui coûte, c'est aussi les ops. Les logs, si c'est des millions de petits fichiers, ça peut faire mal.

Les coûts de retrieval sont ok, on y touche pas souvent. Mais oui, j'ai des millions de petits objets pour les logs et certains assets. C'est probablement ça le souci. Comment je gère ça ? Compresser et fusionner les logs avant de les uploader ?

Exactement ! Pour les logs, si t'as beaucoup de petits fichiers, un service qui agrège les logs genre Fluentd ou Logstash pour les uploader par batch et en les compressant dans des fichiers plus gros (genre 100MB-1GB) ça réduit énormément les coûts de PUT/GET et ça optimise le stockage. Et tu peux les mettre en Parquet ou ORC pour query avec Athena.

Pense aussi à S3 Intelligent-Tiering. C'est un peu plus cher que IA/Glacier de base mais il gère automatiquement le déplacement des objets entre Standard, IA et Archive en fonction des patterns d'accès. Pas de lifecycle rules à maintenir, ça peut faire la différence pour des workloads imprévisibles.

et pour les assets web, si c'est des images ou vidéos, utilise des services de cdn comme cloudfront. le edge cache réduit les requêtes directes à s3, et ça optimise la delivery pour tes users en plus. le transfert de données depuis s3 vers cloudfront est moins cher que s3 vers internet direct.

dernier truc : pour les buckets de logs, t'as activé s3 server access logging ou cloudtrail ? les logs de s3 peuvent générer des logs sur s3, un peu meta mais si t'as un volume de requêtes énorme, ça peut générer des millions de petits objets. assure-toi que ces logs-là sont aussi archivés intelligemment ou désactivés si pas critiques.

Wow merci pour toutes ces pistes ! L'agrégation des petits fichiers de logs et S3 Intelligent-Tiering ça semble être le gros chantier. Pour les assets web le CDN est déjà là mais j'ai pas vérifié les settings de cache. Je vais revoir tout ça. Ça va clairement faire baisser la facture !