Consul DNS resolution lente sur certains services

RSS
michel57 07/10/2025
RÉSOLU
Retour Répondre
Avatar de michel57
michel57
Auteur Actif
Avatar de michel57
michel57
Auteur Actif

hello la team ! on a un souci de latence avec la résolution DNS de consul. sur certains services (pas tous bizarrement) la résolution prend entre 200 et 300ms ce qui est inacceptable pour nos microservices. les agents consul sont bien up le ping est ok entre tout le monde. une idée d'où ça peut venir ?

$ dig @127.0.0.1 -p 8600 my-service.service.consul
;; query time: 235 msec
07/10/2025 à 17:59

8 commentaires

Avatar de michaud-antoine
michaud-antoine
Membre Actif
Avatar de michaud-antoine
michaud-antoine
Membre Actif

ça sent le souci de health checks flapping ou de cache dns. tes services lents ils ont des health checks instables ? quand un check flap consul doit constamment mettre à jour son catalogue et ça peut ralentir les résolutions

08/10/2025 à 16:31
Avatar de ufrancois
ufrancois
Membre
Avatar de ufrancois
ufrancois
Membre

ouais et check les logs des agents consul qui ont la latence. y'a ptete des erreurs de communication avec les serveurs consul ou des soucis de réplication entre les datacenters si t'en as plusieurs

09/10/2025 à 10:52
Avatar de claude90
claude90
Membre Actif Secouriste
Avatar de claude90
claude90
Membre Actif Secouriste

quelle est la charge sur tes serveurs consul ? si tu as des milliers de services ou un taux de requêtes DNS super élevé ça peut les saturer. regarde les métriques du cluster consul

10/10/2025 à 05:04
Avatar de michaud-antoine
michaud-antoine
Membre Actif
Avatar de michaud-antoine
michaud-antoine
Membre Actif

t'as un client DNS en cache local (genre dnsmasq ou systemd-resolved) sur tes machines qui font les requêtes ? des fois ça interagit mal avec consul. le mieux c de faire pointer resolv.conf sur l'agent consul local pour le domaine .consul

11/10/2025 à 03:29
Avatar de ufrancois
ufrancois
Membre
Avatar de ufrancois
ufrancois
Membre

et assure-toi que tes serveurs consul sont bien connectés via le gossip et qu'il n'y a pas de problème de pare-feu entre les nodes ou entre les datacenters. un consul members peut donner des indices

12/10/2025 à 03:18
Avatar de claude90
claude90
Membre Actif Secouriste
Avatar de claude90
claude90
Membre Actif Secouriste

j'ajouterais un point sur les requêtes de services pas enregistrés. si tu as beaucoup de requêtes pour des services qui n'existent pas consul doit les forwarder ce qui peut aussi ajouter de la latence. regarde les logs de ton agent consul pour les requêtes non résolues

13/10/2025 à 00:50
Avatar de michaud-antoine
michaud-antoine
Membre Actif
Avatar de michaud-antoine
michaud-antoine
Membre Actif

check aussi les performances du stockage de tes serveurs consul. si le disque est lent pour écrire les infos de catalogue ça impacte tout

13/10/2025 à 22:24
Avatar de michel57
michel57
Auteur Actif
Avatar de michel57
michel57
Auteur Actif

bon j'ai creusé c'était un mix de plusieurs trucs. systemd-resolved qui faisait des siennes avec le port 8600 et des health checks de mes services qui étaient trop sensibles et flappaient souvent. j'ai configuré systemd-resolved pour forwarder juste .consul au local agent et j'ai ajusté la config des health checks. la latence est revenue à la normale. merci les gars pour toutes les pistes !

14/10/2025 à 21:07

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire