Vault unseal prend 3 plombes après redémarrage

ines68 26/08/2024
RÉSOLU
ines68
Auteur Actif Secouriste
Avatar de ines68
ines68
Auteur Actif Secouriste

yo la team vault j'ai un souci nos instances vault prennent une éternité à faire leur unseal après un redémarrage c'est insupportable en prod on parle de 5-10 minutes à chaque fois j'ai l'impression qu'il galère avec le stockage backend ou quoi mais les logs sont pas super clairs

# exemple de config vault server
storage "consul" {
  address = "127.0.0.1:8500"
  path    = "vault/"
}

listener "tcp" {
  address     = "0.0.0.0:8200"
  tls_disable = "true"
}

seal "awskms" {
  region     = "eu-west-3"
  kms_key_id = "arn:aws:kms:eu-west-3:123456789012:key/..."
}
26/08/2024 à 12:34

10 commentaires

salut avec un KMS auto-unseal normalement ça devrait être rapide le souci c ptete ton storage backend le consul derrière il est sur ssd ou c de l'ebs lent

27/08/2024 à 06:48
blanc-sabine
Membre Actif
Avatar de blanc-sabine
blanc-sabine
Membre Actif

c'est clair le storage c'est critique pour vault surtout au démarrage et l'unseal. t'as check la latence i/o sur le serveur consul pendant l'unseal

28/08/2024 à 04:14
ines68
Auteur Actif Secouriste
Avatar de ines68
ines68
Auteur Actif Secouriste

le consul il tourne sur du gp2 standard sur aws c'est pas dingue mais pas non plus atroce. je pensais que kms gérait juste la clé maitre et que le reste c'était rapide

29/08/2024 à 02:19

kms gère le déchiffrement de la master key mais vault doit quand même charger tous les secrets du storage backend quand il démarre et il les déchiffre ça prend du temps. si ton consul est lent ou sature ça va ramer

30/08/2024 à 01:13
vbernier
Membre Actif Secouriste
Avatar de vbernier
vbernier
Membre Actif Secouriste

t'as combien de secrets stockés dans vault et combien de shards pour la master key ? plus t'as de shards plus l'unseal est complexe même avec auto-unseal

30/08/2024 à 23:52
blanc-sabine
Membre Actif
Avatar de blanc-sabine
blanc-sabine
Membre Actif

aussi check les métriques cpu/ram du serveur vault pendant l'unseal des fois c'est juste vault lui-même qui travaille beaucoup à tout charger et déchiffrer

31/08/2024 à 21:12
ines68
Auteur Actif Secouriste
Avatar de ines68
ines68
Auteur Actif Secouriste

on a genre des centaines de milliers de secrets et 5 shards 3 threshold. le cpu monte à 80% pendant l'unseal c'est vrai. j'avais pas pensé aux shards qui impactent même l'auto-unseal

01/09/2024 à 18:55

5 shards c'est beaucoup pour de l'auto-unseal si t'as pas besoin de ce niveau de sécurité pousse pour 1 shard pour le master key. ça devrait accélérer de ouf le processus

02/09/2024 à 13:58
vbernier
Membre Actif Secouriste
Avatar de vbernier
vbernier
Membre Actif Secouriste

c'est ça moins de shards moins de travail crypto au démarrage. et si ton consul est sur ebs gp2 booste le iops ou passe sur io1 ou io2. gp2 c'est pas fait pour du traffic très soutenu et constant comme un backend vault

03/09/2024 à 13:03
ines68
Auteur Actif Secouriste
Avatar de ines68
ines68
Auteur Actif Secouriste

ok je vais voir avec la sécu pour réduire les shards si possible et je vais benchmarker le consul. merci pour les infos c'est beaucoup plus clair

04/09/2024 à 11:41

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire