etcd leader election instable sur k8s clusters galère

Question

salut la team on a un gros souci sur un de nos clusters k8s l'api server fait des freez aléatoires les logs etcd montrent des leader election timeouts de ouf on a trois noeuds masters ils ont de la ressource pourtant---apiVersion: apps/v1kind: Deploymentmetadata:  name: etcd-exporter  namespace: kube-systemspec:  replicas: 1  selector:    matchLabels:      app: etcd-exporter  template:    metadata:      labels:        app: etcd-exporter    spec:      containers:      - name: etcd-exporter        image: quay.io/prometheuscommunity/etcd-exporter:v0.12.0        args:        - --etcd.server=https://127.0.0.1:2379        - --etcd.cert=/etc/kubernetes/pki/apiserver-etcd-client.crt        - --etcd.key=/etc/kubernetes/pki/apiserver-etcd-client.key        - --etcd.ca=/etc/kubernetes/pki/etcd/ca.crt        ports:        - name: metrics          containerPort: 9978          protocol: TCP

martins-margot · Answer

check les logs systemd d'etcd sur chaque master t'as des warnings genre "apply request took too long"

poirier-david · Answer

ouais pas mal de "apply request took too long" et des "wal fsync took too long" même

martins-margot · Answer

ah ok alors c'est l'infra disk derrière etcd qui est pas assez perf c'est du ssd ou hdd

poirier-david · Answer

c'est du ssd provisionné sur notre env vmware mais j'avoue que le storage est partagé avec d'autres trucs

martins-margot · Answer

mauvaise idée etcd est ultra sensible à la latence disque il lui faut son propre iops si possible dédiés sinon ça part en vrille direct

martins-margot · Answer

t'as regardé les métriques disque iops et latence depuis les noeuds masters direct ? genre iotop ou iostat

poirier-david · Answer

iostat me sort des avgrq-sz énormes et des await à genre 50-100ms sur le volume etcd

martins-margot · Answer

voilà tu as ta cause 50ms d'await c'est la mort pour etcd faudrait être sous 10ms voir 5ms max. le problème est clairement côté storage

martins-margot · Answer

est-ce que ton WAL dir est séparé de ta data dir ? c'est une best practice pour etcd si tu peux le faire

poirier-david · Answer

non tout est sur le même volume par défaut j'avais pas pensé à ça

martins-margot · Answer

faut absolument séparer le WAL dir sur un volume avec des iops encore plus rapides s'il y a un moyen

poirier-david · Answer

ok je vais voir avec l'équipe infra si on peut monter un nouveau volume ultra rapide juste pour le WAL et resizer le volume data

martins-margot · Answer

fais gaffe la migration du WAL dir c'est un peu tricky faut arrêter etcd faire le move et relancer

poirier-david · Answer

je suis en train de faire ça. stop etcd déplacer reconfigurer le service et relancer

martins-margot · Answer

n'oublie pas de backup avant hein tu connais la musique

poirier-david · Answer

oui oui j'ai un snapshot vmware en cas de pépin thx. je relance et je te dis

poirier-david · Answer

bon on dirait que c'est le jour et la nuit les leader elections sont stables plus de timeouts les awaits sont descendus à 2-3ms sur le WAL dir dédié c'est super fluide

martins-margot · Answer

nickel on avait eu le même souci sur un gros cluster chez nous une fois c'est un grand classique pour etcd le storage

poirier-david · Answer

grave merci bcp pour l'aide je pensais pas que ça aurait autant d'impact

etcd leader election instable sur k8s clusters galère

19 commentaires

Laisser une réponse

Déploiement et Backup automatique d'une application Symfony 4

Les variables d'environnement dans Kubernetes

Participation Challenges CTF Rennes

Configurer votre environnement Ansible

Référencer des tickets Work items sur GitLab

Rejoindre la communauté

Oops! An Error Occurred

The server returned a "500 Internal Server Error".