Prometheus alerte false positive sur la dispo de l'api gateway

Posté par virginie-joseph le 02/09/2025

RÉSOLU

Membre depuis le 01/09/2024

hello à tous. mon alerte prometheus sur la dispo de l'api gateway se déclenche souvent pour rien. genre l'api est up et fonctionnelle mais prometheus hurle qu'elle est down. je check les métriques et effectivement y'a des 5xx mais c'est pas représentatif de la vraie indispo. comment filtrer mieux ça ?

# ma query d'alerte actuelle
sum(rate(http_requests_total{job="api-gateway", status=~"5.."})) by (instance) > 5

02/09/25 à 14:30

Commentaires

breton-audrey

Membre depuis le 04/05/2024

c'est la joie des 5xx internes. au lieu de juste regarder le 5xx faudrait que tu compares avec le total des requêtes. genre si t'as 5 requêtes sur 1000 c'est pas grave mais 5 sur 10 c'est la cata. un truc avec un ratio serait plus pertinent

03/09/25 à 13:12

julien-luc

Membre depuis le 22/01/2025

ouais grave. ou bien tu peux mettre un `for: 5m` pour que l'alerte ne se déclenche que si la condition est vraie pendant 5 minutes. ça aide à ignorer les pics passagers ou les petits glitchs

04/09/25 à 11:53

virginie-joseph

Membre depuis le 01/09/2024

ah ok je vois. je vais tenter un `sum(rate(http_requests_total{job="api-gateway", status=~"5.."})) / sum(rate(http_requests_total{job="api-gateway"})) * 100 > 1` avec un `for: 2m`. ça devrait être plus robuste. thx pour l'idée du ratio

05/09/25 à 08:48

breton-audrey

Membre depuis le 04/05/2024

yes ça c une alerte qui a plus de gueule ! pense aussi à ignorer les statuts 503 si c du maintenance mode planifié par exemple

06/09/25 à 03:32

Retour