Sujet :

SRE : Prometheus ne scrape plus tous les targets

RÉSOLU

Liste des sujets Répondre Créer un sujet

Avatar de jeanne65

jeanne65

Membre depuis le 07/04/2024

salut la team j'ai un souci avec prometheus. certains targets ne sont plus scrapés par intermittence alors qu'ils sont up et que les métriques sont dispo si je curl l'endpoint directement. j'ai regardé les logs de prometheus mais rien d'explicite si ce n'est des context deadline exceeded. d'autres targets sur le même job scrape nickel

# extrait de prometheus.yml (simplifié)
scrape_configs:
  - job_name: 'my_service'
    static_configs:
      - targets: ['10.0.0.1:9100', '10.0.0.2:9100', '10.0.0.3:9100']

Avatar de maggie18

maggie18

Membre depuis le 25/03/2024

context deadline exceeded c'est souvent un timeout. ton scrape_interval et scrape_timeout sont comment pour ce job ? t'as ptete des targets qui sont sur des serveurs plus chargés ou plus éloignés qui mettent plus de temps à répondre aux requêtes http de prometheus

Avatar de antoine-gay

antoine-gay

Membre depuis le 31/03/2024

regarde aussi côté réseau t'as pas un firewall ou un security group qui se ferme sur ces ips là après un certain temps ? un tcpdump sur prometheus et sur le target pendant qu'il scrape pourrait te donner des infos sur la connexion qui foire

Avatar de jeanne65

jeanne65

Membre depuis le 07/04/2024

alors scrape_interval c 15s et scrape_timeout 10s. les serveurs sont tous dans le même datacenter même subnet. j'ai fait le tcpdump et je vois des connexions s'établir puis se fermer sans échange de données juste avant le timeout. c'est bizarre

Avatar de maggie18

maggie18

Membre depuis le 25/03/2024

ok si le tcpdump montre une connexion qui s'établit mais sans échange de données regarde sur les targets si le node_exporter (ou whatever exporter t'utilises) est pas en train de planter ou de se bloquer. un systemctl status node_exporter et les logs du service seraient utiles

Avatar de jeanne65

jeanne65

Membre depuis le 07/04/2024

bingo ! le node_exporter de ces targets est en mode zombie il répondait pas aux requêtes même si le process était up. un redémarrage du service a tout remis d'aplomb. merci pour la piste !

Répondre

vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire