Debuguer les latences DNS dans un cluster EKS

Question

J'ai des timeouts intermittents sur les résolutions DNS dans mon cluster Kubernetes. Ça arrive surtout lors des montées en charge. J'utilise CoreDNS par défaut.

Les logs montrent des NXDOMAIN aléatoires ou des requêtes qui tombent en timeout après 5 secondes. Quelqu'un a une méthode robuste pour isoler si c'est CoreDNS ou le node-local-dns ?

nath-gauthier · Answer

C'est un classique. Souvent, c'est le conntrack du kernel qui sature. Vérifie le nombre de connexions ouvertes avec sysctl net.netfilter.nf_conntrack_count.

ymaillard · Answer

J'ai checké, on est à 80% de la limite. C'est peut-être ça. Comment augmenter la limite sans risquer de crash le node ?

jdupuis · Answer

Tu peux ajuster net.netfilter.nf_conntrack_max, mais c'est temporaire. As-tu activé le ndots:5 dans /etc/resolv.conf ? C'est souvent la cause des requêtes inutiles.

marcelle-loiseau · Answer

Utilise dnstop ou tcpdump sur l'interface veth du pod pour voir si les paquets sortent vraiment.tcpdump -i eth0 udp port 53

ymaillard · Answer

Je vais installer dnstop dans un container sidecar pour capturer le trafic en direct.

nath-gauthier · Answer

Aussi, vérifie la config CoreDNS. Si tu as beaucoup de services, le cache peut être saturé. Augmente la taille du cache dans la ConfigMap.

ymaillard · Answer

J'ai augmenté le cache à 10000 entrées, on va voir si ça stabilise les requêtes récurrentes.

jdupuis · Answer

Si ça ne suffit pas, passe sur une résolution nodelocaldns avec un cache local par node, ça limite les sauts réseau.

ymaillard · Answer

C'est déjà en place, mais je vais vérifier si la configuration de kube-dns ne force pas un bypass du cache local.

ymaillard · Answer

Problème identifié : c'était bien le conntrack qui dropait les paquets UDP. Augmentation effectuée, plus de timeouts depuis 2h.

Debuguer les latences DNS dans un cluster EKS

10 commentaires

Laisser une réponse

Introduction du cours pour apprendre l'orchestrateur Kubernetes (k8s)

Faciliter le déploiements k8s avec Kustomize

Ma participation au DevFest Nantes

L'Ère des Pipelines Intelligents: GenAI Révolutionne le Platform Engineering

WebAssembly au-delà du navigateur : Redéfinir l'Edge Computing et le Cloud Natif

Rejoindre la communauté