Prometheus : alertes high cardinality sur des métriques kubernetes
Commentaires
Membre depuis le 27/04/2020
hello j'ai eu le même coup le plus simple c'est de virer les labels pod_name et container_id sur toutes les métriques qui n'en ont pas strictement besoin tu peux utiliser des règles drop ou replace dans ton scrape config pour ça
# exemple de relabeling pour virer les labels inutiles
relabel_configs:
- source_labels: [__name__]
regex: '(kube_pod_info|kube_container_info|etc)' # liste les métriques où tu veux garder ces labels
action: keep
- source_labels: [pod, container] # les labels à virer par défaut
regex: '.*'
action: drop
Membre depuis le 14/03/2019
attention à pas tout dropper non plus certains labels comme namespace ou service sont vitaux pour débugger ptete tu peux faire un metric_relabel_configs au lieu de relabel_configs pour agir directement sur les métriques et pas sur le discovery des cibles
Membre depuis le 26/06/2024
ah ouais metric_relabel_configs c'est pas bête ça cible direct la métrique je vais tester ça je voulais pas toucher à la découverte des cibles. pour les labels je garde namespace et service c'est clair les autres je vais faire le tri. merci pour les tips je vous tiens au jus
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
oguillon
Membre depuis le 26/06/2024
yo la team j'ai des soucis de perfs sur
prometheuset des alerteshigh cardinalityen boucle on scrape des métriqueskuberneteset ça explose la ram depromles labels genrepod_namecontainer_idetc. sont partout j'essaie de faire durelabelingmais ça change pas grand chose des idées pour réduire ça sans perdre trop de granularité ?