Facture S3 qui explose sans raison apparente

xlecoq 24/12/2025
RÉSOLU
xlecoq
Auteur
Avatar de xlecoq
xlecoq
Auteur

Bon sang la facture AWS du mois, notre S3 a explosé ! Genre x10 par rapport au mois dernier. On stocke des fichiers logs et backups, et le volume total a pas bougé des masses. J'ai checké le stockage mais c'est les requests et le data transfer out qui sont devenus dingues. Y a moyen de débugger ça sans passer des jours dans CloudWatch ?

24/12/2025 à 07:34

8 commentaires

uroussel
Membre Actif
Avatar de uroussel
uroussel
Membre Actif

salut ! x10 c'est énorme. c'est quoi le type de requêtes qui a explosé ? GetObject, PutObject, ListBucket ? et le data transfer out c'est vers l'internet ou vers d'autres services aws dans une autre région ?

Modifié le 23/05/2026 à 16:20
xlecoq
Auteur
Avatar de xlecoq
xlecoq
Auteur

C'est surtout du GetObject et du ListBucket en fait. le data transfer out c'est clairement vers l'internet. on a pas d'appli qui downloadent des téraoctets par mois. j'ai regardé les métriques S3 dans CloudWatch mais ça me donne pas les sources des requêtes

Modifié le 23/05/2026 à 16:20
uroussel
Membre Actif
Avatar de uroussel
uroussel
Membre Actif

ok getobject et listbucket + transfer out vers internet c'est souvent un accès public non intentionnel ou un bot/crawler qui spamme. t'as activé les s3 server access logs sur le bucket ? c'est le meilleur moyen de voir les ips sources et les user agents

Modifié le 23/05/2026 à 16:20
xlecoq
Auteur
Avatar de xlecoq
xlecoq
Auteur

non j'avais pas activé les access logs, je l'ai fait là. ça va me coûter un bras de plus je sens. mais j'en ai besoin. je les ai configurés pour aller dans un autre bucket. je vais les parser avec athena. j'espère trouver un truc louche.

27/12/2025 à 19:54
uroussel
Membre Actif
Avatar de uroussel
uroussel
Membre Actif

oui c'est la meilleure piste. en attendant que les logs s'accumulent, vérifie la politique de bucket et les ACLs. y a pas un truc qui est passé en public par erreur ? et des fois un crawler mal configuré qui tourne en boucle sur un listing ?

28/12/2025 à 17:24
xlecoq
Auteur
Avatar de xlecoq
xlecoq
Auteur

bingo ! putain y a un dossier backups/public/ qui est apparu et il a été mis en public par une automatisation à la con. je vois des tonnes de requêtes anonymes dessus dans les logs. je viens de le repasser en privé. j'espère que ça va calmer le jeu. merci pour le tuyau des logs et du public access !

Modifié le 23/05/2026 à 16:20
uroussel
Membre Actif
Avatar de uroussel
uroussel
Membre Actif

ouaip ça sent bon la boulette d'automatisation ça. content que t'aies trouvé. pense à mettre des alertes sur les métriques de requêtes S3 si ça se reproduit pour choper ça plus vite la prochaine fois. et audit tes policies auto si tu peux

30/12/2025 à 08:33
xlecoq
Auteur
Avatar de xlecoq
xlecoq
Auteur

clairement ! je vais ajouter une alerte et revoir mes scripts. merci encore pour l'aide précieuse !

31/12/2025 à 04:16

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire