11 commentaires
et le versioning s3 ? si tu l'as activé et que des apps font des updates fréquentes sur les mêmes objets, ça peut exploser le stockage sans que tu t'en rendes compte si tu ne purges pas les anciennes versions. c'est surtout pour le storage mais ça impacte aussi les ops pour gérer ça.
le transfert de données peut être dû à la réplication cross-region si t'as ça, ou une app qui sync un bucket s3 vers un autre cloud ou un on-prem. et le plus classique : des downloads depuis l'extérieur d'aws avec des gros volumes de données. t'as un cdn devant ?
logs s3 non activés partout je vais les activer sur le gros bucket incriminé. versioning j'y ai pensé mais c'est pas activé sur ce bucket. réplication cross-region non plus. on a un cloudfront devant mais les hits sont stables.
si c'est pas le stockage alors c'est les requêtes get/put/list ou le data transfer out. en attendant les logs s3, tu peux regarder les métriques cloudwatch pour s3 (numberofrequests, bytesdownloaded). tu peux voir le pic et les types de requêtes qui ont augmenté.
attention aux cycles de vie s3. si tu as des règles qui déplacent des objets vers glacier mais ensuite tu les récupères souvent, les coûts de restauration glacier sont élevés et peuvent générer des pics inattendus de transferts.
cloudwatch montre que les GET requests ont explosé. genre x10. mais aucune app n'est censée faire autant de GETs. c'est super bizarre. je vais attendre les logs pour voir les sources.
vous allez pas croire. j'ai activé les logs et c'était notre pipeline ci/cd. une de nos actions github qui utilise le cli s3 pour lister des fichiers dans un bucket sans max-items et elle tournait h24 sur un cron mal configuré. elle faisait des millions de requêtes LIST et GET sans rien récupérer vraiment. honte sur moi.
ah la classique ! les boucles infinies ou les cron jobs qui partent en cacahuète c'est toujours la cause des factures qui explosent. content que t'aies trouvé. tu peux mettre une alarme cloudwatch sur les metrics de requêtes s3 pour le futur.
oui je vais faire ça direct ! merci pour le coup de main à tous.
Laisser une réponse
Vous devez être connecté pour poster un message !
bonjour les cost optimizers, la facture s3 a pris +200% ce mois-ci et j'arrive pas à comprendre pourquoi. le volume de données stockées n'a pas bougé tant que ça (+5%). par contre les requêtes et le transfert de données c'est la folie. j'ai pas déployé de nouvelles features ni migré des trucs qui feraient ça.