Debuguer des timeouts de DNS en cluster Kubernetes

Question

J'ai des timeouts intermittents sur les résolutions DNS au sein de mon cluster. C'est aléatoire mais ça impacte les services critiques. J'ai déjà vérifié CoreDNS, les logs ne montrent rien de spécial, juste des requêtes qui prennent trop de temps.

Est-ce que le conntrack de iptables pourrait être le coupable ici ?

claude-legrand · Answer

Très probable. Si tu as beaucoup de trafic, la table conntrack peut saturer. Vérifie dmesg pour voir s'il y a des messages de type nf_conntrack: table full.

guerin-david · Answer

Tu devrais aussi regarder du côté de ndots dans ton /etc/resolv.conf. Si tu as beaucoup de domaines, chaque recherche DNS génère des requêtes inutiles qui saturent le cache.

fleclerc · Answer

Je suis en ndots:5 par défaut. Ça explique peut-être pourquoi les requêtes sortantes saturent. Comment je peux confirmer que c'est bien le conntrack qui drop les paquets ?

laetitia80 · Answer

Utilise sysctl net.netfilter.nf_conntrack_count pour voir où tu en es par rapport à nf_conntrack_max.

upayet · Answer

Passe sur NodeLocal DNSCache si ce n'est pas déjà fait. Ça déporte la résolution sur chaque node et ça limite drastiquement les allers-retours via iptables.

fleclerc · Answer

NodeLocal DNSCache semble être la solution idéale. Je vais implémenter ça demain. Merci pour l'aide sur le diagnostique conntrack.

Debuguer des timeouts de DNS en cluster Kubernetes

6 commentaires

Laisser une réponse

Introduction au rapport DORA

Découverte et utilisation d'Elasticsearch

Les pratiques SRE sont-elles inadaptées à la complexité moderne ?

Rejoindre la communauté