lrichard
29/09/2024
RÉSOLU
3 commentaires
olivier-lucie
Membre
Actif
Secouriste
t'as essayé de passer ton format de fichier en Parquet ? le CSV c'est l'enfer pour la mémoire car Spark doit tout inférer
30/09/2024 à 11:52
gregoire-vincent
Membre
le souci vient souvent du 'skewness' de tes données ou de fichiers trop gros non splittables (genre un gros .csv.gz). si t'utilises des dynamicframes, essaie de forcer un repartition ou utilise le paramètre groupfiles dans la source s3 pour équilibrer la charge sur les workers
# dans ton create_dynamic_frame.from_options
"groupFiles": "inPartition"
Modifié le 23/05/2026 à 16:20
Laisser une réponse
Vous devez être connecté pour poster un message !
yo j'ai un job Glue (Spark) qui traite un gros CSV sur S3 et ça crash systématiquement après 10 min. le log d'erreur est pas hyper clair sur quel worker explose
j'ai déjà mis des G.2X mais ça repousse juste le problème de quelques minutes...