Prometheus alerts qui se déclenchent pas sur mes pods OOMKilled

Question

Salut ! j'ai un truc chelou en prod j'ai des pods qui se font OOMKilled régulièrement mais prometheus reste muet aucune alerte qui se déclenche j'ai pourtant une règle pour ça c'est frustrant
# règle d'alerte prometheus
- alert: HighOomKills
  expr: sum(rate(kube_pod_container_status_OOMKilled_total[5m])) by (namespace, pod) > 0
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Pod {{ $labels.pod }} dans {{ $labels.namespace }} a été OOMKilled"

catherine-pineau · Answer

hello t'as vérifié que la métrique kube_pod_container_status_OOMKilled_total est bien scrapée et qu'elle a des valeurs quand un pod est OOMKilled tu peux check direct dans la UI de prometheus

breton-astrid · Answer

et l'expression de ta règle elle est bien déclenchée dans grafana ou un alertmanager UI tu peux simuler pour voir si ça match

margaud02 · Answer

regarde le target status de tes kube-state-metrics elles sont up tes cibles sinon prometheus récupère rien

catherine-pineau · Answer

des fois c'est juste le 'for: 5m' si le pod est OOMKilled et redémarre trop vite avant 5min l'alerte ne se déclenche pas essaie de le mettre à 'for: 1m' juste pour tester

breton-astrid · Answer

t'as pas un label mismatch qui fait que ta règle ne voit pas la métrique jette un oeil aux labels générés par kube-state-metrics pour cette métrique

josephine-cousin · Answer

bon c'était bien le for: 5m combiné au fait que les pods redémarrent trop vite après l'OOMKill en réduisant le for et en ajustant la rate ça passe. thx à tous pour les pistes

Prometheus alerts qui se déclenchent pas sur mes pods OOMKilled

6 commentaires

Laisser une réponse

Les boucles dans le langage de programmation Go

Gestion des différents événements en SDL 2

Les différents objets et composants de Kubernetes

Comment copier et contribuer à un projet GitLab via le Fork

L'IA Explicable au Cœur du DevOps : Construire la Confiance et la Transparence

Rejoindre la communauté