prometheus error out of order sample

Question

je me bouffe plein d erreurs out of order sample dans mes logs prometheus depuis que j ai ajouté un sidecar thanos. les metrics remontent plus du tout vers mon query frontend

efaivre · Answer

t as surement deux instances qui envoient les mêmes metrics avec exactement les mêmes labels. check ta config prometheus.yml pour vérifier tes external_labels
global:
  external_labels:
    cluster: prod-1
    replica: r1

lhoareau · Answer

thanos supporte pas les timestamps qui se chevauchent pour une même série. si t as pas de labels uniques pour différencier tes replicas de prometheus ca va drop les données en boucle

christophe-gosselin · Answer

effectivement j avais copié collé la config sur mon deuxième noeud sans changer le nom du replica. les deux se marchaient dessus. ca marche mieux maintenant

prometheus error out of order sample

3 commentaires

Laisser une réponse

Maîtriser l'opération de Rebase sur GitLab pour un historique linéaire

Data Mesh : L'Ère des Données Distribuées et l'Impact sur le DevOps

CI/CD : Bâtir des Pipelines 100% Reproductibles avec Nix Flakes

La révolte contre la complexité déclarative : vers une fin de l'IaC classique ?

Mutex et contention : Libérez enfin vos threads

Rejoindre la communauté