prometheus alertmanager ne notifie personne

Question

salut la commu j'ai un souci avec mon alertmanager. les alertes sont bien générées par prometheus je les vois dans l'UI alertmanager mais aucune notification est envoyée ni par email ni par slack. le log d'alertmanager est silencieux pas d'erreur particulière juste que ça fait rien
# partie de mon alertmanager.yml
route:
  receiver: 'default-receiver'
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h

receivers:
  - name: 'default-receiver'
    email_configs:
      - to: 'admin@example.com'
        from: 'alertmanager@example.com'
        smarthost: 'smtp.example.com:587'
        auth_username: 'user'
        auth_password: 'password'
        require_tls: true
    slack_configs:
      - channel: '#alerts'
        api_url: 'https://hooks.slack.com/services/t00000000/b00000000/xxxxxxxxxxxxxxxxxxxxxxxx'

gallet-laurence · Answer

t'as bien testé la connectivité de alertmanager vers ton smarthost smtp et vers l'url slack ? un bête curl -v https://hooks.slack.com/... depuis le pod alertmanager

lenoir-guillaume · Answer

vérifie aussi les filtres ou silences actifs dans l'UI d'alertmanager. parfois on oublie un silence qui bloque tout sans s'en rendre compte

labbe-alain · Answer

et les logs du smarthost SMTP ? il voit les tentatives de connexion de alertmanager ? c'est souvent un problème de TLS ou d'auth avec le smtp

benard-aurore · Answer

les creds pour slack et smtp sont bien dans des secrets kubernetes ou des variables d'environnement ? pas de typo ? et les permissions du service account pour accéder aux secrets

claire49 · Answer

ok pour le curl slack ça marche. le smarthost j'ai accès aux logs j'ai rien vu passer du tout. par contre les silences j'en ai bien un mais il est périmé. ptete un souci d'heure ?

gallet-laurence · Answer

si t'as rien dans les logs smtp c que alertmanager essaie même pas d'envoyer. le problème est en amont. t'as quelle version d'alertmanager ?

lenoir-guillaume · Answer

regarde la métrique alertmanager_notifications_failed_total dans prometheus ça peut te donner une idée si il y a des tentatives et des échecs silencieux

labbe-alain · Answer

et si tu crées une règle temporaire super simple sans group_by juste un receiver et tu déclenches une alerte juste pour voir si un mail part ? pour isoler le problème

claire49 · Answer

alors alertmanager_notifications_failed_total est à zéro. c'est bizarre. j'ai essayé la règle simple et toujours rien. j'ai pas précisé c'est un déploiement k8s avec le prometheus operator

benard-aurore · Answer

ah le prometheus operator ! t'as bien configuré le

alertmanager_config_secret

et que le fichier dedans est au bon format ? des fois l'operator met sa propre config par défaut si le secret est pas parfait. check les logs du prometheus operator aussi

gallet-laurence · Answer

le prometheus operator est super sensible à l'indentation et aux champs manquants dans le secret de config. un petit linter yaml sur ton fichier peut te sauver

claire49 · Answer

vous êtes des génies ! l'operator reécrivait ma config parce que mon secret contenait une erreur d'indentation toute conne. dès que j'ai fixé le yaml dans le secret ça a pété les notifs. big up !

prometheus alertmanager ne notifie personne

Commentaires

Laisser une réponse

Event à la Dockercon Europe 2018

Déboguer vos playbooks Ansible

La supervision dans kubernetes

Rejoindre la communauté