Membre depuis le 22/05/2024
hello la team ! on a un souci de latence avec la résolution DNS de consul. sur certains services (pas tous bizarrement) la résolution prend entre 200 et 300ms ce qui est inacceptable pour nos microservices. les agents consul sont bien up le ping est ok entre tout le monde. une idée d'où ça peut venir ?
$ dig @127.0.0.1 -p 8600 my-service.service.consul
;; query time: 235 msec
Vous devez être connecté pour poster un message !
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
michaud-antoine
Membre depuis le 04/05/2024
ça sent le souci de health checks flapping ou de cache dns. tes services lents ils ont des health checks instables ? quand un check flap consul doit constamment mettre à jour son catalogue et ça peut ralentir les résolutions
ufrancois
Membre depuis le 11/10/2024
ouais et check les logs des agents consul qui ont la latence. y'a ptete des erreurs de communication avec les serveurs consul ou des soucis de réplication entre les datacenters si t'en as plusieurs
claude90
Membre depuis le 31/12/2024
quelle est la charge sur tes serveurs consul ? si tu as des milliers de services ou un taux de requêtes DNS super élevé ça peut les saturer. regarde les métriques du cluster consul
michaud-antoine
Membre depuis le 04/05/2024
t'as un client DNS en cache local (genre dnsmasq ou systemd-resolved) sur tes machines qui font les requêtes ? des fois ça interagit mal avec consul. le mieux c de faire pointer resolv.conf sur l'agent consul local pour le domaine .consul
ufrancois
Membre depuis le 11/10/2024
et assure-toi que tes serveurs consul sont bien connectés via le gossip et qu'il n'y a pas de problème de pare-feu entre les nodes ou entre les datacenters. un consul members peut donner des indices
claude90
Membre depuis le 31/12/2024
j'ajouterais un point sur les requêtes de services pas enregistrés. si tu as beaucoup de requêtes pour des services qui n'existent pas consul doit les forwarder ce qui peut aussi ajouter de la latence. regarde les logs de ton agent consul pour les requêtes non résolues
michaud-antoine
Membre depuis le 04/05/2024
check aussi les performances du stockage de tes serveurs consul. si le disque est lent pour écrire les infos de catalogue ça impacte tout
michel57
Membre depuis le 22/05/2024
bon j'ai creusé c'était un mix de plusieurs trucs. systemd-resolved qui faisait des siennes avec le port 8600 et des health checks de mes services qui étaient trop sensibles et flappaient souvent. j'ai configuré systemd-resolved pour forwarder juste .consul au local agent et j'ai ajusté la config des health checks. la latence est revenue à la normale. merci les gars pour toutes les pistes !