Monitoring

Je hebt Grafana. Je hebt Prometheus metrics. Je hebt logs in Loki en traces in Tempo. De data staat er allemaal. Je hebt ook 47 dashboards die niemand opent. Ik heb dit mezelf meer dan eens aangedaan. Er gaat iets stuk om 2 uur ’s nachts, ik klus snel een dashboard in elkaar om te zien wat er aan de hand is, en daarna blijft het voor eeuwig staan. Vermenigvuldig dat met een jaar aan incidenten en een paar “ik voeg er even een panel voor toe”-momenten, en je houdt een Grafana over die vooral archeologie is. Niemand weet meer wat de helft van de panels betekent. De eerlijke keuze is het meeste weggooien, maar eerst helpt het om te snappen wat de overlevers de moeite waard maakt. ...

De eerste keer dat iemand me vroeg “was dit vorige maand trager dan nu?”, had ik geen antwoord. Mijn Prometheus onthield maar twee weken. De data die ik nodig had was allang van lokale schijf gevallen en verwijderd. Dat gat is de hele reden dat deze post bestaat. Prometheus is de standaard voor Kubernetes metrics, en met goede reden. Het werkt prachtig, precies tot het moment dat je lange-termijn opslag nodig hebt, of een overzicht over meerdere clusters, of echte hoge beschikbaarheid. Dan loop je tegen de muur. ...

De hele belofte van GitOps is dat Git de source of truth is. Die belofte houdt stand tot het moment dat iemand om 2 uur ’s nachts kubectl edit runt op een deployment om een incident te stoppen, een mutating webhook stilletjes een resource herschrijft, of een half afgemaakte sync je cluster ergens tussen wat Git wilde en wat het kreeg achterlaat. Nu zegt Git het ene en doet het cluster het andere, en niemand heeft het je verteld. ...