Vault pas d'auto-unseal en kubernetes apres un redemarrage violent

Question

Yo la team j'ai un souci avec vault sous k8s. on a eu une coupure de courant et l'infra a redémarré. vault est censé auto-unseal avec gcp kms mais là il reste sealed. j'ai check les logs des pods vault ça dit juste "initialized but sealed". les clés kms sont toujours là je capte pas
# Logs pod Vault
kubectl logs vault-0
...
2023-10-27T10:30:05.123Z [INFO]  core: initialized but sealed
...

eleonore05 · Answer

hello ! vérifie les permissions du service account k8s que vault utilise pour gcp kms. des fois après un redémarrage ou une maj de config le token du sa change ou les policies sont pas réappliquées correctement. regarde si vault a bien le droit de decrypt via kms

francoise-bonnet · Answer

j'ai vérifié le service account et le rôle iam associé il a bien le kms.decrypt. je peux même faire un gcloud kms decrypt en ligne de commande depuis le pod vault avec le token du sa ça marche.

elise61 · Answer

hmm bizarre si les permissions sont ok. t'as vérifié que la config vault utilise bien le bon key ring et key name kms ? une typo dans la config ou un env var écrasé ça arrive. le configmap vault a été recréé ptete

francoise-bonnet · Answer

la config est la bonne j'ai rechecké le configmap et le déploiement. keyring et keyname sont corrects. pas d'écrasement apparent.

marie-regnier · Answer

est-ce que ton vault storage backend est en bonne santé ? si le backend type consul ou etcd est corrompu ou a perdu des données suite au reboot même si kms est ok vault peut pas récupérer les clés master fragmentées pour faire l'unseal

francoise-bonnet · Answer

ah ouais le backend ! on est sur consul. je vais checker les logs de consul et son état de santé. le consul server a aussi redémarré pendant la panne. ptete un souci de quorum

elise61 · Answer

ouais si consul est pas ok vault va pas pouvoir lire ses données d'unseal. vérifie si tous les consul servers sont up et ont retrouvé leur quorum. si un seul pod consul est en mode stand-alone il peut pas servir vault

francoise-bonnet · Answer

vous aviez raison ! un de nos trois consul servers était bloqué sur "waiting for leader". j'ai forcé son redémarrage il a rejoint le quorum et vault s'est auto-unsealed direct. merci beaucoup ! putain j'ai perdu 2h là-dessus

Vault pas d'auto-unseal en kubernetes apres un redemarrage violent

Commentaires

Laisser une réponse

Construire une infrastructure AWS hautement disponible

Gérer et manipuler les Deployments Kubernetes

Les Expressions sur Terraform (boucles, conditions, arithmétique)

Rejoindre la communauté