Mes alertes Prometheus ne s'envoient pas à PagerDuty

Posté par wbegue le 25/05/2024
RÉSOLU
Retour Répondre Créer

Avatar de wbegue

wbegue

Membre depuis le 20/03/2019

hey l'équipe j'ai configuré une nouvelle alerte dans prometheus pour mes services critiques une alerte de type high_cpu_usage. prometheus voit bien que l'état est FIRING mais alertmanager ne forwarde rien à pagerduty j'ai vérifié le config alertmanager pour pagerduty et le routing ça semble ok

# exemple de config alertmanager (simplifié)
route:
  group_by: ['alertname']
  receiver: 'pagerduty'
receivers:
  - name: 'pagerduty'
    pagerduty_configs:
      - service_key: '{{ .Secret.PagerDutyServiceKey }}' # placeholder

Commentaires

Avatar de auguste-hebert

auguste-hebert

Membre depuis le 28/04/2024

t'as check les logs d'alertmanager ? souvent c'est un truc bête genre une erreur de conf pagerduty key ou le url qui est pas bon pour le webhook ou un group_by qui fait que les alertes sont pas regroupées comme tu penses

Avatar de wbegue

wbegue

Membre depuis le 20/03/2019

ah putain j'ai regardé les logs y'a des error sending alert: bad status code 400 ça doit être la clé pagerduty j'ai du la copier coller avec un espace de merde je recheck ça

Avatar de auguste-hebert

auguste-hebert

Membre depuis le 28/04/2024

yep 400 c'est souvent ça ou un payload mal formé pour pagerduty corrige la clé et relance

Avatar de wbegue

wbegue

Membre depuis le 20/03/2019

c'était la clé un espace en trop merci beaucoup

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire