dns lent sur k8s genre 5s de lookup

Question

yo la team j'ai un truc chelou sur notre cluster k8s les lookups dns sont super lents genre 5s pour résoudre un nom de service interne. ça met le bordel partout. le coredns est bien up et les logs montrent rien de spécial. un ping vers le coredns ip est rapide. mais le nslookup depuis un pod est cata
kubectl exec -it my-pod -- nslookup my-service
Server:         10.96.0.10
Address:        10.96.0.10#53

Non-authoritative answer:
Name:   my-service.my-namespace.svc.cluster.local
Address: 10.42.0.123

;; Query time: 5000 msec

rcaron · Answer

salut t'as checké les event logs sur les noeuds ? des fois y'a des soucis de conntrack saturation sur le kernel ou des iptables qui déconnent. regarde dmesg ou les logs de kube-proxy

roger-marcelle · Answer

ouais et l'utilisation cpu/mem du coredns ? ptete il est sous-provisionné et galère avec la charge. regarde les métriques prometheus si tu en as pour coredns

rcaron · Answer

un autre truc qui peut merder c'est le dns search path des pods. si t'as une longue liste de domaines dans resolv.conf et que certains timeoutent ça allonge la durée. regarde le resolv.conf d'un pod lent

begue-louise · Answer

bingo pour le search path ! le resolv.conf avait 6 domaines genre my-svc.ns.svc.cluster.local, ns.svc.cluster.local, svc.cluster.local, cluster.local et deux autres domaines externes qu'on avait foutu là on sait pas trop pourquoi. et le premier externe était injoignable. du coup ça tentait plein de fois avant de trouver. j'ai viré les domaines inutiles et c'est instantané. merci les gars !

dns lent sur k8s genre 5s de lookup

Commentaires

Laisser une réponse

Ma participation au DevFest Nantes

Veille technologique 2018 Docker et les Microservices

Les goroutines dans le langage de programmation Go

Rejoindre la communauté