Sujet :
Coûts S3 explosent sur un bucket 'statique' inexpliqué
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 16/04/2024
yo la team devops
gros souci finops en ce moment. on a un bucket s3 censé être pour du stockage statique (site web, images, css, js) et nos coûts s3 ont fait x10 ce mois-ci. on a pas changé grand chose au site, pas eu de pic de trafic monstre non plus. j'ai regardé les métriques et je vois une énorme quantité de GetObject Requests. le stockage en lui-même n'a pas tant augmenté. c'est quoi ce bordel ?
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
martin-catherine
Membre depuis le 17/07/2024
hello, les GetObject Requests qui explosent c souvent lié à un accès non cacheté. t'as un cdn devant ton s3 (cloudfront) ? si non, ou s'il est mal configuré (ttl trop bas, pas assez de cache hits), chaque requête va taper s3 direct. et s3 c cher en req.
jacqueline66
Membre depuis le 25/04/2024
ouais et attention aux bots et aux crawlers. si t'as pas de firewall (waf) ou de bonnes règles de block sur ton cdn ou s3, un bot malveillant qui spamme ton site peut générer des millions de getobject requests. t'as vérifié les logs d'accès s3 pour voir les user agents ?
olivie65
Membre depuis le 15/07/2024
autre piste : un script ou une application qui aurait une boucle infinie ou un bug et qui ferait des requêtes s3 en continu ? genre un truc qui essaie de récupérer un fichier manquant et qui retente en boucle sans succès. les erreurs 4xx/5xx sont aussi facturées en requêtes.
martin-catherine
Membre depuis le 17/07/2024
et une dernière idée : les préfixes ou suffixes de s3. si tu listes les objets avec des préfixes trop vagues ou des opérations récursives non optimisées, ça peut aussi augmenter les requêtes ListObject ou GetObject. mais GetObject pur c'est plus direct.
zlecomte
Membre depuis le 16/04/2024
purée c'était un mélange de tout ça ! on avait bien un cloudfront mais avec un ttl de 0 sur certains chemins critiques, donc chaque requête passait. en plus, un script de notre monitoring avait un bug et faisait des getobject sur un objet qui n'existait plus, générant des 404 en boucle. j'ai corrigé les deux et les coûts redescendent. merci les gars pour le diagnostic rapide et efficace ! grosse claque finops pour nous apprendre la leçon.