Requêtes DNS lentes via CoreDNS dans Kubernetes
Membre depuis le 19/07/2024
Salut à tous ! On a des applis dans k8s qui se plaignent de latence DNS parfois. des fois c'est super rapide genre 1ms mais d'autres fois ça monte à 100-200ms pour résoudre un nom. ça concerne aussi bien des services internes (cluster.local) que des noms externes. on utilise coredns par défaut
# coredns configmap simplifié
apiVersion: v1
kind: ConfigMap
metadata:
name: coredns
namespace: kube-system
data:
Corefile: |
.:53 {
errors
health
kubernetes cluster.local in-addr.arpa ip6.arpa {
pods insecure
fallthrough in-addr.arpa ip6.arpa
}
prometheus :9153
forward . 8.8.8.8 8.8.4.4 {
policy random
prefer_udp
}
cache 30
loop
reload
loadbalance
}
on a pas de gros pic de cpu ou mémoire sur les pods coredns. le réseau du cluster est ok aussi. des idées pour investiguer les causes de ces latences dns intermittentes ?
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
huet-etienne
Membre depuis le 22/05/2024
hello. t'as vérifié les logs des pods coredns pendant ces périodes de latence ? souvent ça donne des indices sur les requêtes qui prennent du temps ou des erreurs. aussi, le nombre de pods coredns est suffisant pour la taille de ton cluster ?
et t'as combien de replicas coredns ?
sauvage-paulette
Membre depuis le 19/07/2024
on a 2 replicas coredns et le cluster est pas énorme genre 30 noeuds. les logs coredns montrent pas d'erreurs particulières juste des requêtes normales. par contre j'ai vu que le fwd vers 8.8.8.8/8.8.4.4 utilise policy random ça pourrait ptete expliquer les latences si un des dns est plus lent à répondre à certains moments
huet-etienne
Membre depuis le 22/05/2024
ouais la policy random peut être un facteur. essaie de mettre policy round_robin si tu préfères une rotation plus prévisible. mais ça cache pas forcément le problème de fond si un upstream est lent. t'as monitoré la latence vers 8.8.8.8 et 8.8.4.4 depuis tes noeuds k8s ? un simple ping ou dig avec @ip pour voir si les upstreams eux-mêmes sont lents
sauvage-paulette
Membre depuis le 19/07/2024
ok j'ai testé en changeant la policy pour round_robin et ça semble un peu mieux déjà. et oui le 8.8.4.4 est parfois beaucoup plus lent depuis certains noeuds. j'ai mis en place un monitor là-dessus pour le surveiller. je vais ptete changer les forwarders pour des dns privés ou ceux de notre fournisseur cloud qui sont plus stables depuis notre infra. merci pour la piste !