Prometheus alerts qui se déclenchent pas sur mes pods OOMKilled

Question

Salut ! j'ai un truc chelou en prod j'ai des pods qui se font OOMKilled régulièrement mais prometheus reste muet aucune alerte qui se déclenche j'ai pourtant une règle pour ça c'est frustrant
# règle d'alerte prometheus
- alert: HighOomKills
  expr: sum(rate(kube_pod_container_status_OOMKilled_total[5m])) by (namespace, pod) > 0
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Pod {{ $labels.pod }} dans {{ $labels.namespace }} a été OOMKilled"

catherine-pineau · Answer

hello t'as vérifié que la métrique kube_pod_container_status_OOMKilled_total est bien scrapée et qu'elle a des valeurs quand un pod est OOMKilled tu peux check direct dans la UI de prometheus

breton-astrid · Answer

et l'expression de ta règle elle est bien déclenchée dans grafana ou un alertmanager UI tu peux simuler pour voir si ça match

margaud02 · Answer

regarde le target status de tes kube-state-metrics elles sont up tes cibles sinon prometheus récupère rien

catherine-pineau · Answer

des fois c'est juste le 'for: 5m' si le pod est OOMKilled et redémarre trop vite avant 5min l'alerte ne se déclenche pas essaie de le mettre à 'for: 1m' juste pour tester

breton-astrid · Answer

t'as pas un label mismatch qui fait que ta règle ne voit pas la métrique jette un oeil aux labels générés par kube-state-metrics pour cette métrique

josephine-cousin · Answer

bon c'était bien le `for: 5m` combiné au fait que les pods redémarrent trop vite après l'OOMKill en réduisant le `for` et en ajustant la `rate` ça passe. thx à tous pour les pistes

Prometheus alerts qui se déclenchent pas sur mes pods OOMKilled

Commentaires

Laisser une réponse

Veille technologique 2018 Docker et les Microservices

Étude et mise en place d’une solution de monitoring open source(Centreon)

Introduction du cours pour apprendre le langage programmation GO

Rejoindre la communauté