prometheus error opening storage: too many open files

Question

Salut, mon Prometheus vient de tomber en prod avec une erreur de storage. Le service refuse de redémarrer et les logs disent too many open files.

J'ai encore de la place sur le disque mais le process se vautre au boot. Une idée ?

uvoisin · Answer

C'est classique quand tu as beaucoup de metrics ou des gros WAL. Ton process atteint la limite de file descriptors autorisée par le système. Vérifie tes limites actuelles avec la commande ulimit -n sur ton user prometheus.

bertrand-couturier · Answer

Si tu es sous systemd, il faut modifier l'unité du service pour augmenter la limite au niveau du process directement.
[Service]
LimitNOFILE=65536
Ensuite oublie pas de faire un systemctl daemon-reload et de redémarrer.

schneider-timothee · Answer

C'était bien ça. J'ai passé le LimitNOFILE à 64k et c'est reparti comme en quarante. Merci du coup de main, j'ai failli perdre ma soirée sur l'observabilité.

prometheus error opening storage: too many open files

3 commentaires

Laisser une réponse

Gérer et manipuler un Service Kubernetes

Notre première infrastructure AWS depuis Terraform

Comprendre les Permissions Utilisateurs sur GitLab

Blindez votre DevOps : Sécurité de la Chaîne Logicielle

L'Ère des Microservices Autonomes : Vers des Systèmes Self-Healing

Rejoindre la communauté

Oops! An Error Occurred

The server returned a "500 Internal Server Error".