scheduler linux cpu-intensive apps et performance étrange

Question

salut la commu ! on a des applis de calcul intensif sur des serveurs linux (ubuntu 22.04, kernel 5.15) et on voit des perfs un peu bizarres. parfois un thread se met à monopoliser un cpu et tout le reste rame un peu même si d'autres cpus sont libres. on a l'impression que le scheduler fait n'importe quoi. on est en default cfs.
# sortie de 'top' qui montre un seul process à 100% CPU sur un core
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
1234 user      20   0 12.5g 4.0g  200m R 100.0   2.5   5:30.12 my_compute_app

qherve · Answer

le cfs (completely fair scheduler) c'est le default c'est bien pour la plupart des workloads mais pour du calcul intensif avec des threads critiques ça peut être un peu trop "fair". t'as essayé de jouer avec les priorités nice ou rt_priority ?

navarro-eleonore · Answer

ouais et si c'est vraiment un truc temps réel t'as le scheduler rt (real-time) mais c'est risqué faut savoir ce qu'on fait. sinon des cgroups pour limiter/garantir le cpu de certains process ?

william40 · Answer

on a essayé un peu les nice mais pas de changement fou. les cgroups on y a pas touché encore. mais on voudrait éviter le rt scheduler c'est trop extrême pour nous

qherve · Answer

pour du calcul intensif avec plusieurs threads ou processes qui DOIVENT tourner en // et avoir leur propre cpu tu peux essayer de configurer le cpu affinity (taskset) pour "pinner" les threads à des cpus spécifiques. comme ça pas de migration intempestive et moins de cache misses

honore54 · Answer

et si tu peux avoir un kernel avec le scheduler bfq (budget fair queueing) il est pas mal pour les i/o intensives mais aussi le cpu si t'as des contraintes. mais souvent le cpu affinity ou les cgroups c'est la première étape

william40 · Answer

le cpu affinity c'est intéressant. je vais regarder ça avec taskset. mais on a aussi pas mal de threads qui démarrent/s'arrêtent. ptete c'est le cfs qui a du mal à réallouer rapidement ?

qherve · Answer

le cfs est plutôt bon pour ça mais si t'as des micro-bursts et que ton app est sensible à la latence de scheduling ça peut se voir. essaie de tweaker les paramètres du cfs genre kernel.sched_min_granularity_ns ou kernel.sched_latency_ns via sysctl

william40 · Answer

j'ai testé taskset sur un process critique et la différence est énorme ! le process est resté bien sur son core et les autres aussi. ça a stabilisé les perfs de ouf. merci le coup de la taskset c'est magique

navarro-eleonore · Answer

bien joué ! le pinning cpu c'est souvent la solution quand le scheduler par défaut galère avec des workloads spécifiques. pensez à l'automatiser pour pas l'oublier

william40 · Answer

c'est clair je vais mettre ça en place dans le système de démarrage de l'app. thx encore !

scheduler linux cpu-intensive apps et performance étrange

10 commentaires

Laisser une réponse

Les goroutines dans le langage de programmation Go

Déployer, manipuler et sécuriser un serveur Registry Docker privé

Découverte de mon extension VsCode

Les bonnes pratiques du DevOps

Sécurisez vos déploiements : Ne laissez plus vos clés API dans le state

Rejoindre la communauté