AlertManager n'envoie pas d'alertes Slack malgré les firing

Question

Bonjour la communauté ! J'ai un problème étrange avec mon setup Prometheus/AlertManager. Prometheus remonte bien des alertes, je les vois en statut FIRING dans l'UI d'AlertManager, mais aucune notification n'arrive sur notre channel Slack. Les logs d'AlertManager sont pas très parlants, juste des messages de routage.
# alertmanager.yml (partie receivers)
receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#devops-alerts'
    api_url: 'https://hooks.slack.com/services/TXXXXXXX/BXXXXXXX/XXXXXXXXXXXXXXXXXXXXXXXX'
    send_resolved: true
    text: '{{ template "slack.default.text" . }}'

# alertmanager.yml (partie routes)
routes:
- receiver: 'slack-notifications'
  match:
    severity: 'critical'

C'est une config standard pourtant. Y a un truc que je loupe?

david-perrin · Answer

Salut! As-tu vérifié si ton api_url pour Slack est toujours valide? Les webhooks Slack peuvent expirer ou être révoqués. Un simple test avec curl depuis le serveur AlertManager peut confirmer si le webhook est joignable.

blot-valentine · Answer

Regarde dans l'UI d'AlertManager sous "Silences" et "Inhibitions". Des fois, une règle d'inhibition mal configurée ou un silence oublié peut bloquer l'envoi des notifs même si l'alerte est bien firing.

david-perrin · Answer

Un firewall entre ton instance AlertManager et les serveurs Slack? Vérifie que le port 443 est ouvert pour les requêtes sortantes vers hooks.slack.com.

frederic-paris · Answer

Le template Slack? Si ton text: '{{ template "slack.default.text" . }}' a une erreur ou référence une variable inexistante, ça peut faire planter l'envoi de la notification. Essaye un template super simple juste pour voir.

blot-valentine · Answer

tes labels matchent bien la route? ton exemple de route a severity: 'critical'. si tes alertes prometheus n'ont pas ce label ou en ont un différent, elles ne seront pas routées vers ce receiver.

david-perrin · Answer

Problème de résolution DNS? Ton AlertManager arrive à résoudre hooks.slack.com? Un petit dig hooks.slack.com ou ping depuis la machine peut donner une piste.

icharpentier · Answer

bon ben c'était effectivement le template slack qui était pourri. j'avais essayé de customiser un truc et j'avais foiré la syntaxe. remis le template par défaut et ça repart. merci pour les pistes !

AlertManager n'envoie pas d'alertes Slack malgré les firing

7 commentaires

Laisser une réponse

Les goroutines dans le langage de programmation Go

Comment se préparer à la certification CKA (Certified Kubernetes Administrator)

Pipeline et outils DevOps

Maîtrisez les commandes Git indispensables pour GitLab

Tuto : Pilotez votre Flotte IoT avec GitOps et ArgoCD

Rejoindre la communauté