SRE : Alertes Prometheus qui spam sur les spikes CPU

Question

hello j'ai un souci avec prometheus mes alertes cpu sur certains services spamment trop. dès qu'un pod redémarre ou qu'il y a un petit spike l'alerte part. je veux des alertes pour les vrais problèmes pas pour les trucs éphémères
# exemple d'alerte qui spamme
- alert: HighCpuUsage
  expr: sum(rate(container_cpu_usage_seconds_total{container="my-app"}[5m])) by (pod) > 0.8
  for: 2m
  labels:
    severity: warning
  annotations:
    summary: "CPU usage for pod {{ $labels.pod }} is high"

emmanuelle-humbert · Answer

pour les spikes tu peux essayer d'utiliser irate au lieu de rate si tu veux capter les changements plus rapides mais t'as le même problème de sensibilité. le mieux c'est d'ajouter un group by sur la moyenne des pods si c'est un service qui a plusieurs réplicas

honore-teixeira · Answer

ouais ou alors augmente le for genre 5m ou 10m ça filtre les trucs courts. et si c'est un truc genre batch ou redémarrage planifié utilise alertmanager silences pour la période. et pour le CPU 80% ça me parait haut pour une alerte warning surtout si tu peux scaler

henri-aubert · Answer

tu peux aussi utiliser des recording rules pour lisser tes métriques et alerter sur ces métriques agrégées. ça évite d'avoir des expr complexes dans tes alertes et ça pré-calcule des trucs utiles

christelle39 · Answer

pense à l'approche SLI/SLO tu peux définir des alertes basées sur des objectifs de performance plutôt que des seuils arbitraires sur l'utilisation du CPU. c'est plus orienté impact utilisateur que ressource

qrobert · Answer

ok merci pour tous les tips je vais tester d'augmenter le for à 5m et surtout regarder les recording rules et les silences. la suggestion de passer sur du SLI/SLO est intéressante pour plus tard. je vous tiens au jus

SRE : Alertes Prometheus qui spam sur les spikes CPU

Commentaires

Laisser une réponse

Conclusion du cours sur le DevOps

Construire une infrastructure AWS hautement disponible

Filtrer les sorties Kubernetes

Rejoindre la communauté