Prometheus : alertes high cardinality sur des métriques kubernetes

oguillon 21/11/2025
RÉSOLU
oguillon
Auteur
Avatar de oguillon
oguillon
Auteur

yo la team j'ai des soucis de perfs sur prometheus et des alertes high cardinality en boucle on scrape des métriques kubernetes et ça explose la ram de prom les labels genre pod_name container_id etc. sont partout j'essaie de faire du relabeling mais ça change pas grand chose des idées pour réduire ça sans perdre trop de granularité ?

21/11/2025 à 13:09

3 commentaires

foucher-catherine
Membre Actif
Avatar de foucher-catherine
foucher-catherine
Membre Actif

hello j'ai eu le même coup le plus simple c'est de virer les labels pod_name et container_id sur toutes les métriques qui n'en ont pas strictement besoin tu peux utiliser des règles drop ou replace dans ton scrape config pour ça


# exemple de relabeling pour virer les labels inutiles
relabel_configs:
  - source_labels: [__name__]
    regex: '(kube_pod_info|kube_container_info|etc)' # liste les métriques où tu veux garder ces labels
    action: keep
  - source_labels: [pod, container] # les labels à virer par défaut
    regex: '.*'
    action: drop
22/11/2025 à 08:31
valerie64
Membre Actif
Avatar de valerie64
valerie64
Membre Actif

attention à pas tout dropper non plus certains labels comme namespace ou service sont vitaux pour débugger ptete tu peux faire un metric_relabel_configs au lieu de relabel_configs pour agir directement sur les métriques et pas sur le discovery des cibles

23/11/2025 à 05:17
oguillon
Auteur
Avatar de oguillon
oguillon
Auteur

ah ouais metric_relabel_configs c'est pas bête ça cible direct la métrique je vais tester ça je voulais pas toucher à la découverte des cibles. pour les labels je garde namespace et service c'est clair les autres je vais faire le tri. merci pour les tips je vous tiens au jus

24/11/2025 à 01:37

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire