SRE : Prometheus scrape config qui foire avec kube-proxy métriques

Question

salut la team, on a un cluster k8s tout neuf et je galère à récupérer les métriques de kube-proxy avec Prometheus. le service monitor et la config de prometheus ont l'air ok, mais quand je regarde les targets dans Prometheus, kube-proxy est toujours DOWN avec un context deadline exceeded. d'autres services fonctionnent bien

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-proxy
  labels:
    k8s-app: kube-proxy
spec:
  jobLabel: k8s-app
  selector:
    matchLabels:
      k8s-app: kube-proxy
  namespaceSelector:
    matchNames:
      - kube-system
  endpoints:
  - port: http-metrics
    interval: 30s

veronique-bouvier · Answer

salut ! t'es sûr que le port http-metrics est bien exposé par kube-proxy et qu'il est accessible depuis Prometheus ? par defaut des fois kube-proxy écoute sur 127.0.0.1:10249 (kube-proxy metrics) ou 0.0.0.0:10249 selon ta config ou ta version. check les logs de kube-proxy pour l'adresse d'écoute

philippe-jeanne · Answer

ouais et des fois c juste un firewall ! si t'as des network policies ou un calico/cilium qui tourne, ça pourrait bloquer le trafic du Prometheus pod vers les kube-proxy pods. essaie de faire un curl depuis le pod Prometheus vers l'IP et le port du kube-proxy pour voir si ça passe

auguste86 · Answer

ptete un souci de service discovery aussi. le ServiceMonitor se base sur un Service et des Endpoints. t'es sûr que le Service kube-proxy dans kube-system pointe bien sur les Endpoints corrects (les pods kube-proxy) avec les bons labels ?

dominique24 · Answer

et ton prometheus config ? tu l'as bien généré avec le Prometheus Operator ou c'est du manuel ? vérifie que la section relabel_configs ne filtre pas tes cibles kube-proxy par erreur

anais67 · Answer

vous avez tapé dans le mille pour le port et le firewall ! en fait notre kube-proxy était configuré pour écouter sur 127.0.0.1:10249, pas 0.0.0.0. j'ai modifié la kube-proxy configmap pour qu'il écoute sur toutes les interfaces, et hop, les métriques remontent. merci beaucoup !

SRE : `Prometheus` scrape config qui foire avec `kube-proxy` métriques

5 commentaires

Laisser une réponse

Ce que n'est pas le DevOps

Introduction au cours Gitlab

Mettre en place une architecture DRY sur GitLab CI

Cyber-Immunity Autonome : Quand l'Infra DevOps s'Auto-Défend

Maîtriser la gestion mémoire : Le guide ultime pour vos pods

Rejoindre la communauté