Vault unseal prend 3 plombes après redémarrage

Posté par ines68 le 26/08/2024
RÉSOLU

ines68

Membre depuis le 28/11/2023

yo la team vault j'ai un souci nos instances vault prennent une éternité à faire leur unseal après un redémarrage c'est insupportable en prod on parle de 5-10 minutes à chaque fois j'ai l'impression qu'il galère avec le stockage backend ou quoi mais les logs sont pas super clairs

# exemple de config vault server
storage "consul" {
  address = "127.0.0.1:8500"
  path    = "vault/"
}

listener "tcp" {
  address     = "0.0.0.0:8200"
  tls_disable = "true"
}

seal "awskms" {
  region     = "eu-west-3"
  kms_key_id = "arn:aws:kms:eu-west-3:123456789012:key/..."
}

Commentaires

rene-courtois

Membre depuis le 28/05/2020

salut avec un KMS auto-unseal normalement ça devrait être rapide le souci c ptete ton storage backend le consul derrière il est sur ssd ou c de l'ebs lent

blanc-sabine

Membre depuis le 05/02/2020

c'est clair le storage c'est critique pour vault surtout au démarrage et l'unseal. t'as check la latence i/o sur le serveur consul pendant l'unseal

ines68

Membre depuis le 28/11/2023

le consul il tourne sur du gp2 standard sur aws c'est pas dingue mais pas non plus atroce. je pensais que kms gérait juste la clé maitre et que le reste c'était rapide

rene-courtois

Membre depuis le 28/05/2020

kms gère le déchiffrement de la master key mais vault doit quand même charger tous les secrets du storage backend quand il démarre et il les déchiffre ça prend du temps. si ton consul est lent ou sature ça va ramer

vbernier

Membre depuis le 09/07/2019

t'as combien de secrets stockés dans vault et combien de shards pour la master key ? plus t'as de shards plus l'unseal est complexe même avec auto-unseal

blanc-sabine

Membre depuis le 05/02/2020

aussi check les métriques cpu/ram du serveur vault pendant l'unseal des fois c'est juste vault lui-même qui travaille beaucoup à tout charger et déchiffrer

ines68

Membre depuis le 28/11/2023

on a genre des centaines de milliers de secrets et 5 shards 3 threshold. le cpu monte à 80% pendant l'unseal c'est vrai. j'avais pas pensé aux shards qui impactent même l'auto-unseal

rene-courtois

Membre depuis le 28/05/2020

5 shards c'est beaucoup pour de l'auto-unseal si t'as pas besoin de ce niveau de sécurité pousse pour 1 shard pour le master key. ça devrait accélérer de ouf le processus

vbernier

Membre depuis le 09/07/2019

c'est ça moins de shards moins de travail crypto au démarrage. et si ton consul est sur ebs gp2 booste le iops ou passe sur io1 ou io2. gp2 c'est pas fait pour du traffic très soutenu et constant comme un backend vault

ines68

Membre depuis le 28/11/2023

ok je vais voir avec la sécu pour réduire les shards si possible et je vais benchmarker le consul. merci pour les infos c'est beaucoup plus clair

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire