Prometheus Alerts qui ratent des fenêtres de détection

yo t'as pensé à l'évaluation intervalle de prometheus ? si ton scrape interval est par exemple 15s et ton eval interval est 1m tu peux rater des spikes très courts qui tombent pile entre deux évaluations. surtout si ton FOR est aussi de 5m c'est chaud

ouais et attention à la granularité de tes métriques si tes métriques sont poussées genre toutes les 30s et que ton alert for est court ça peut te jouer des tours. aussi ton range vector 5m avec un for 5m c'est pas top pour un spike tu lisses trop. ptete baisser le range ou utiliser un instant vector si tu veux juste un point précis qui dépasse

hmm l'eval interval est de 1m et le scrape de 30s. c'est vrai que ça peut expliquer des trucs. pour le for 5m c'était pour éviter le flapping mais du coup ça cache les pics courts. je vais tester de réduire le range vector à 1m et le for à 2m histoire de voir si ça chie moins

regarde aussi si tes targets sont stables niveau scrape. si y'a des trous dans tes données ça fausse tout. dashboard grafana sur les scrapes health genre prometheus_target_scrape_offset_seconds ou scrape_duration_seconds peut t'aider

et une autre chose la fonction rate est pas faite pour les pics instantanés. elle calcule la moyenne sur la durée du range. si tu veux capter un pic précis regarde plutôt du côté de irate pour des changements plus rapides ou un simple metric > seuil si tu veux juste un point au dessus. irate c plus sensible aux pics mais aussi au bruit

d'acc irate c'est intéressant. je vais refactorer mon alerte avec irate et un range vector plus court genre irate(http_request_duration_seconds_count[1m]) et un for de 1m. je verrai si c'est plus réactif. merci pour les tips les gars !