Optimisation des temps de déploiement CI/CD avec Docker Layer Caching

Question

On galère avec nos temps de build Docker. Chaque build prend environ 8 minutes à cause de l'installation des dépendances npm alors qu'elles ne changent pas à chaque commit. On utilise GitLab CI avec le cache distribué, mais ça semble sous-performant.

Quelles sont vos stratégies pour optimiser le docker build ? Est-ce que le --cache-from avec une image intermédiaire est vraiment plus efficace qu'un simple volume de cache ?

daniel18 · Answer

Le --cache-from est indispensable si tu utilises des runners éphémères. Par contre, il faut s'assurer que ton image est bien poussée après chaque build réussi.

ibernard · Answer

As-tu essayé le montage de cache spécifique avec BuildKit ? C'est beaucoup plus rapide pour npm ou pip.RUN --mount=type=cache,target=/root/.npm npm install

ymenard · Answer

Je n'avais pas pensé au --mount=type=cache. Ça évite de copier les fichiers dans l'image finale, c'est ça ?

omoulin · Answer

Exactement. C'est un point de montage temporaire pendant le build. C'est beaucoup plus efficace pour les dépendances lourdes.

daniel18 · Answer

Attention cependant à la persistance du cache sur les runners GitLab. Si ton runner n'a pas de cache local, ça ne servira à rien.

ymenard · Answer

Nos runners sont sur des instances EC2 avec un disque SSD. Le cache local devrait être rapide.

ibernard · Answer

Si tu es sur AWS, regarde aussi buildx avec un backend de cache S3, c'est top pour le multi-node.

ymenard · Answer

Le cache S3 me semble être la solution la plus robuste pour éviter de dépendre du runner local.

omoulin · Answer

Clairement, surtout si tu as des runners qui tournent en auto-scaling.

daniel18 · Answer

Pense aussi à bien ordonner tes COPY dans ton Dockerfile pour maximiser le cache des couches.

ymenard · Answer

Oui, on fait bien COPY package.json . avant le reste. Je vais implémenter le --mount et le cache S3. Merci pour les pistes.

Optimisation des temps de déploiement CI/CD avec Docker Layer Caching

11 commentaires

Laisser une réponse

Les structures et les méthodes dans le langage de programmation Go

Téléchargement et compilation d’un projet SDL

Fonctionnement et manipulation du réseau dans Docker

Progressive Delivery : L'Ère des Déploiements Dynamiques et Sûrs

Tuto : Configurer l'Auto-scaling GPU pour vos LLM avec Karpenter

Rejoindre la communauté

Oops! An Error Occurred

The server returned a "500 Internal Server Error".