S3 cost explosion après une migration d'env de staging

Posté par marie-lebreton le 07/06/2024

RÉSOLU

Membre depuis le 03/06/2024

hello la team petite alerte finops là. on vient de migrer notre env de staging sur s3 pour le stockage de fichiers statiques et images. depuis la facture s3 a explosé genre x5 sans réelle augmentation de charge ou de données. j'ai l'impression que quelque chose ne tourne pas rond

07/06/24 à 09:30

Commentaires

laurent55

Membre depuis le 22/05/2024

salut ! t'as checké les logs s3 et cloudwatch metrics pour s3 ? souvent c'est soit des requêtes get/put en masse non prévues soit des delete requests à gogo si une purge est mal configurée. ou un truc avec la réplication cross-region si elle est activée par erreur

08/06/24 à 08:19

marie-lebreton

Membre depuis le 03/06/2024

pas de réplication cross-region. par contre les logs s3 montrent des millions de requêtes listobject. et j'ai des outils de monitoring qui font des s3 ls récursifs toutes les 5 minutes pour vérifier la cohérence du bucket. ça pourrait être ça ?

09/06/24 à 02:54

michel57

Membre depuis le 22/05/2024

oui clairement ! listobject est facturé au nombre de requêtes. si tu as des millions de fichiers et que tu fais des listes récursives fréquemment ça chiffre très vite. limite les listes aux préfixes nécessaires ou utilise des inventaires s3 pour avoir une vue sans requêter chaque fois

09/06/24 à 23:27

marie-lebreton

Membre depuis le 03/06/2024

ok je vois le souci. l'outil de monitoring a été configuré en mode 'vérification complète' au lieu de 'delta'. je vais désactiver le scan complet et le faire passer par un inventaire s3 nocturne. merci pour le tuyau ça va me sauver le budget

10/06/24 à 22:17

Retour