Sujet :

SRE : Alertes Prometheus qui spam sur les spikes CPU

RÉSOLU

Liste des sujets Répondre Créer un sujet

Avatar de qrobert

qrobert

Membre depuis le 17/11/2024

hello j'ai un souci avec prometheus mes alertes cpu sur certains services spamment trop. dès qu'un pod redémarre ou qu'il y a un petit spike l'alerte part. je veux des alertes pour les vrais problèmes pas pour les trucs éphémères

# exemple d'alerte qui spamme
- alert: HighCpuUsage
  expr: sum(rate(container_cpu_usage_seconds_total{container="my-app"}[5m])) by (pod) > 0.8
  for: 2m
  labels:
    severity: warning
  annotations:
    summary: "CPU usage for pod {{ $labels.pod }} is high"

Avatar de emmanuelle-humbert

emmanuelle-humbert

Membre depuis le 19/11/2024

pour les spikes tu peux essayer d'utiliser irate au lieu de rate si tu veux capter les changements plus rapides mais t'as le même problème de sensibilité. le mieux c'est d'ajouter un group by sur la moyenne des pods si c'est un service qui a plusieurs réplicas

Avatar de honore-teixeira

honore-teixeira

Membre depuis le 06/01/2025

ouais ou alors augmente le for genre 5m ou 10m ça filtre les trucs courts. et si c'est un truc genre batch ou redémarrage planifié utilise alertmanager silences pour la période. et pour le CPU 80% ça me parait haut pour une alerte warning surtout si tu peux scaler

Avatar de henri-aubert

henri-aubert

Membre depuis le 13/04/2024

tu peux aussi utiliser des recording rules pour lisser tes métriques et alerter sur ces métriques agrégées. ça évite d'avoir des expr complexes dans tes alertes et ça pré-calcule des trucs utiles

Avatar de christelle39

christelle39

Membre depuis le 16/12/2024

pense à l'approche SLI/SLO tu peux définir des alertes basées sur des objectifs de performance plutôt que des seuils arbitraires sur l'utilisation du CPU. c'est plus orienté impact utilisateur que ressource

Avatar de qrobert

qrobert

Membre depuis le 17/11/2024

ok merci pour tous les tips je vais tester d'augmenter le for à 5m et surtout regarder les recording rules et les silences. la suggestion de passer sur du SLI/SLO est intéressante pour plus tard. je vous tiens au jus

Répondre

vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire