Vault prend 10s pour déverrouiller

alice-pages 20/06/2024
RÉSOLU
alice-pages
Auteur Actif Secouriste
Avatar de alice-pages
alice-pages
Auteur Actif Secouriste

yo la team ! on a un gros souci avec vault là l'unseal il prend genre 10 bonnes secondes et c'est super pénalisant au boot du service. on a pourtant pas une grosse instance. vous avez déjà vu ça ?

on est en mode auto-unseal avec AWS KMS mais même avec ça c'est lent.

20/06/2024 à 11:35

9 commentaires

bclement
Membre
Avatar de bclement
bclement
Membre

Salut ! 10s c long oui. T'as checké les logs de Vault pendant la phase d'unseal ? Y'a ptete des erreurs ou des warnings qui t'indiquent un souci de latence avec KMS ou la base de données derrière.

21/06/2024 à 10:13
aimee13
Membre
Avatar de aimee13
aimee13
Membre

C'est quoi ton backend de stockage pour Vault ? Si c'est du Consul, Redis, ou S3, la latence réseau vers cette ressource peut être un facteur. Et si t'es sur EC2, l'instance est-elle bien dans la même AZ que le KMS et le storage ?

22/06/2024 à 05:02
alice-pages
Auteur Actif Secouriste
Avatar de alice-pages
alice-pages
Auteur Actif Secouriste

les logs de vault sont assez clean juste une ligne core: unseal complete après 10s. on est sur du consul dans le même vpc la même az. KMS aussi. le network entre eux est bon.

23/06/2024 à 00:08
bclement
Membre
Avatar de bclement
bclement
Membre

OK si network est bon, ptete un souci de perf côté consul ? Est-ce que tes pods Consul ont assez de CPU/RAM ? Ou le disque est lent ? Un iostat sur l'instance consul pour voir les iops.

23/06/2024 à 18:35
agathe68
Membre Actif Secouriste
Avatar de agathe68
agathe68
Membre Actif Secouriste

et la version de vault ? des fois des upgrades résolvent des perfs issues. et si c'est un cluster, les noeuds sont-ils bien synchronisés et healthy ?

24/06/2024 à 14:17
aimee13
Membre
Avatar de aimee13
aimee13
Membre

Vérifie aussi les métriques réseau de ton instance Vault dans CloudWatch. On ne sait jamais si y'a pas un micro-bursting au moment de l'unseal qui ralentit la communication avec KMS.

25/06/2024 à 12:51
alice-pages
Auteur Actif Secouriste
Avatar de alice-pages
alice-pages
Auteur Actif Secouriste

alors c'est vault 1.10. les noeuds consul sont healthy et leurs disques sont pas saturés. par contre j'ai vérifié les métriques réseau sur l'instance vault et y'a un mini pic de packets retransmis au moment du boot. ça m'a mis la puce à l'oreille.

26/06/2024 à 11:35
bclement
Membre
Avatar de bclement
bclement
Membre

Bingo ! Un petit pic de retransmissions ça veut dire que quelque chose galère à répondre. Souvent c'est un firewall ou un security group qui bloque un port genre le 8200 ou 8201 pendant quelques secondes au démarrage. Ou ptete un soft de sécu sur l'OS.

27/06/2024 à 06:59
alice-pages
Auteur Actif Secouriste
Avatar de alice-pages
alice-pages
Auteur Actif Secouriste

Exactement ! C'était un truc avec un agent de sécurité qui se lançait au boot et qui tapait sur les ports de vault avant qu'ils soient complètement ouverts. Un petit délai sur son démarrage et c'est réglé. Merci les gars, quelle galère !

28/06/2024 à 05:07

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire