Sujet :

Vault en mode 'sealed' après un crash inattendu, cluster en prod

RÉSOLU

Liste des sujets Répondre Créer un sujet

mace-aimee

Membre depuis le 20/12/2024

yo la team

on a eu un crash serveur sur un de nos noeuds Vault en prod. après le redémarrage (automatique) du serveur et des services, le cluster Vault est revenu mais en mode 'sealed'. j'arrive plus à interagir avec. nos secrets sont inaccessibles. c'est la panique à bord on a pas eu ça avant. pourtant le raft est synchro il me semble.

# commande status
vault status
Key                      Value
---                      -----
Seal Type                shamir
Initialized              true
Sealed                   true
Total Shares             5
Threshold                3
Version                  1.10.3
Storage Type             raft
Cluster Name             vault-cluster-prod
Cluster ID               a3f8c...
HA Enabled               true
HA Cluster               https://10.0.0.10:8201
HA Mode                  standby
Active Node Address      

richard-vallet

Membre depuis le 11/10/2024

c'est classique si le noeud actif a crashé et que les autres noeuds n'ont pas pu prendre le relais proprement ou ont perdu leur quorum raft temporairement. en gros le cluster a perdu confiance en son état. tu dois ré-unseal tes noeuds avec les clés de shamir pour ramener le cluster à la vie. t'as tes clés ?

lejeune-francois

Membre depuis le 09/06/2024

attention si tu as un cluster multi-nœuds, il faut unseal le nœud qui va devenir primary/leader et ensuite les autres nœuds devraient rejoindre et s'unseal auto. mais si le crash était violent sur tous les nœuds en même temps, faut unseal chaque nœud. vérifie l'état de chacun avec vault status sur chaque ip. si tous sont sealed, c'est un problème de quorum global.

mace-aimee

Membre depuis le 20/12/2024

ok je vois. j'ai bien les clés de shamir. le problème c'est que même après unseal du noeud actif potentiel, les autres restaient sealed. en fait on a trouvé le souci, le crash a corrompu le disque du noeud actif, le raft data était un peu bancal. on a dû faire une restauration depuis un snapshot de données raft sain et unseal. ça a pris du temps mais c'est revenu. grosse frayeur ! thx pour les tips

Répondre

vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire