Alertmanager ne reçoit plus d'alertes Prometheus

Question

bonjour les devs j'ai un souci depuis ce matin prometheus génère bien des alertes on les voit dans l'ui mais alertmanager lui ne déclenche rien. aucune notif aucune alerte en cours dans l'ui d'alertmanager. la config a pas bougé. qqn a déjà vu ça ?

# prometheus.yml relevant part
alerting:
  alertmanagers:
  - static_configs:
    - targets: ['alertmanager.devops-feed.svc.cluster.local:9093']

henri-aubert · Answer

hello t'as checké les logs de prometheus et d'alertmanager ? des fois prom a du mal à joindre alertmanager genre erreur réseau ou tls. et alertmanager si il crash à la réception ça se verrait dans ses logs

agathe69 · Answer

ouais les logs prom montrent pas d'erreur vers alertmanager. alertmanager est up et tourne sur le bon port. je peux curl son endpoint /metrics depuis prom sans souci

henri-aubert · Answer

si c'est pas le réseau est-ce que tu as des silences configurés dans alertmanager ? des fois un silence un peu trop large couvre sans faire exprès tes nouvelles alertes. ou des routes qui ne matchent plus tes labels d'alerte

agathe69 · Answer

non pas de silences bizarres. j'ai un doute sur le temps par contre. les clocks des serveurs sont bien synchronisées ? prom envoie des timestamps et si alertmanager est trop décalé il pourrait ignorer les alertes

henri-aubert · Answer

très bonne piste ! décalage horaire ça peut être un enfer. vérifie avec ntp ou chrony sur tes instances prom et alertmanager. même quelques secondes de décalage peuvent foutre le bordel sur les alertes et les silences

agathe69 · Answer

bon je viens de vérifier les clocks elles sont ok. par contre j'ai restart alertmanager avec un niveau de log plus verbose et je vois des erreurs de parsing dans la config. mon receiver slack avait un champ en trop. my bad

henri-aubert · Answer

ah la config YAML classique ! content que t'aies trouvé. un simple espace en trop ou un champ mal indenté et c'est le drame. thx pour le feedback

agathe69 · Answer

ouais c'était ça. merci encore pour l'aide. la prochaine fois je regarderai la config alertmanager d'abord ^^

Alertmanager ne reçoit plus d'alertes Prometheus

8 commentaires

Laisser une réponse

Création d'une fenêtre et d'un rendu sur la SDL 2

Les différents objets et composants de Kubernetes

Fluid Computing : L'Ère des Architectures Adaptatives DevOps

OOMKiller : Comment identifier et stopper vos fuites mémoire

Surpassez vos limites : Optimisez le monitoring réseau avec eBPF

Rejoindre la communauté