devopssec
n'est en aucun cas responsable du contenu généré par l'utilisateur. Le contenu posté
exprime les opinions de leur auteur seulement.
Les textes et messages publiés sont la propriété de ceux qui les postent.
je fais de mon mieux pour modérer les propos inappropriés qui pourraient être postés ici,
mais je me dégage de toute responsabilité sur ce que vous postez.
Vous demeurez le seul responsable de vos actes et de vos messages au regard de la loi.
Vous acceptez de ne pas utiliser le service pour poster ou lier vers un contenu qui est
diffamatoire, injurieux, haineux, menaçant, spams ou pourriels, étant de nature à offenser,
ayant un contenu réservé aux adultes ou répréhensible, contenant des renseignements
personnels des autres, risquant de violer les droits d'auteurs, encourageant une activité
illégale ou contraire à toutes les lois.
Le respect est la principale qualité de notre communauté. En conséquence, veillez à l'être envers
vos camarades ici présents, en particulier les nouveaux membres qui comme vous, cherchent
à découvrir l'univers DEVOPS, et n'ont pas toutes vos connaissances.
Tout manque de respect à l'encontre d'un membre, néophyte ou non, entraînera également des sanctions,
à savoir avertissements, bannissements voire poursuites selon la gravité de la situation.
devopssec
décline toute responsabilité concernant les rencontres réelles.
Zahia-Ameziani
Membre depuis le 25/02/2025
Nous avons un serveur Git LFS auto-hébergé qui utilise un bucket S3 d’AWS comme stockage, contenant environ 700 Go de données.J'ai 20 serveurs clients en lecture seule qui utilisent un script pour récupérer les données depuis ce serveur Git.
Voici l'architecture actuelle :
dev-team (commit/push) ----> Serveur Git LFS auto-hébergé(AWS) <----> (Données stockées sur S3) ----> 20 instances EC2 clientes exécutant script.sh pour récupérer les données
Ancienne architecture avec SVN :
dev-temps (commit/push) ----> Serveur SVN auto-hébergé(AWS) <---- 20 instances EC2 clientes exécutant script.sh avec rsync pour synchroniser les données
Nous avons abandonné SVN car rsync prenait trop de temps pour synchroniser les 700 Go de données : il vérifiait chaque fichier avant de mettre à jour les fichiers modifiés, ce qui entraînait des délais importants. En passant à Git LFS, l'objectif était de réduire le temps de synchronisation, car Git est censé ne récupérer que les différences entre les versions.
- Problèmes rencontrés :
La synchronisation avec Git LFS prend plus de 4 heures, ce qui est inacceptable, d'autant plus que rsync effectuait cette tâche en 5 à 10 minutes.
Le script actuel devrait uniquement télécharger les fichiers modifiés, mais cela ne semble pas fonctionner comme prévu.
- voici les 2 scripts utilisés :
rsynchMotionRessources.sh : Prend plus de 4 heures pour s'exécuter.
revised_rsynchMotionRessources.sh : Ne télécharge que les fichiers LFS sans les données (seulement des métadonnées, pas les fichiers originaux).