Membre depuis le 31/08/2024
hello ! `raft: heartbeat timeout` sur vault ha intégré storage ça sent le souci de latence réseau entre tes pods ou de contention cpu/io sur les noeuds. t'as vérifié les métriques cpu/mem/disk des noeuds où tournent tes pods vault ? un pic de charge peut affecter la stabilité du cluster raft
Membre depuis le 22/07/2019
et la config de ton CNI ? si t'as des network policies trop restrictives ou des règles iptables qui filtrent les ports raft (8201) ça peut perturber les heartbeats. même un hic temporaire dans le réseau k8s peut causer ça
Membre depuis le 04/12/2020
les noeuds sont pas surchargés. cpu memory disk sont ok. j'ai pas remarqué de pics. et les logs des pods vault même du leader sont propres. rien à part le heartbeat timeout. le `context deadline exceeded` il vient du client pas du serveur vault
Membre depuis le 31/08/2024
ok si les noeuds sont ok et que c juste le raft qui timeout, alors c vraiment la communication inter-pod. t'as testé la latence avec un simple ping ou iperf entre tes pods vault pendant que ça se passe ? des fois c juste un souci intermittent de vpc ou de routage dans k8s
Membre depuis le 22/07/2019
une autre idée : la persistance de ton integrated storage. si c'est sur un PVC, quel type de storage class t'utilises ? si le storage backend est lent ou a des latences intermittentes ça peut ralentir les commits raft et faire des timeouts
Membre depuis le 04/12/2020
c'est du standard block storage de notre cloud provider. perfs ok en général. et oui on a des network policies. je les ai revérifiées et j'ai une règle qui était un peu trop agressive. elle limitait les connexions sur le port 8201 (raft) pour les pods venant d'autres namespaces. j'ai ajusté la policy pour permettre les flux entre les pods vault dans le même namespace. depuis ça n'a pas refait de sienne. merci pour la piste!
Vous devez être connecté pour poster un message !
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
boulanger-helene
Membre depuis le 04/12/2020
salut les pros de la sécu. j'ai un vault HA en mode integrated storage sur k8s. tout est ok le déploiement les services. mais parfois il devient injoignable pendant genre 10-15s. le traffic network entre les pods semble ok les logs vault sont pas super clairs. y'a juste un `raft: heartbeat timeout` de temps en temps