Grafana

Je hebt Grafana. Je hebt Prometheus metrics. Je hebt logs in Loki en traces in Tempo. De data staat er allemaal. Je hebt ook 47 dashboards die niemand opent. Ik heb dit mezelf meer dan eens aangedaan. Er gaat iets stuk om 2 uur ’s nachts, ik klus snel een dashboard in elkaar om te zien wat er aan de hand is, en daarna blijft het voor eeuwig staan. Vermenigvuldig dat met een jaar aan incidenten en een paar “ik voeg er even een panel voor toe”-momenten, en je houdt een Grafana over die vooral archeologie is. Niemand weet meer wat de helft van de panels betekent. De eerlijke keuze is het meeste weggooien, maar eerst helpt het om te snappen wat de overlevers de moeite waard maakt. ...

Je hebt Prometheus voor metrics, dus je kunt al zien wat er gebeurt in je clusters. Metrics vertellen je dat de latency van een request om 14:32 piekte. Ze vertellen je niet dat de payment service een null pointer gooide omdat iemand een config-wijziging met een typefout uitrolde. Daarvoor heb je logs nodig. Het standaardantwoord was jarenlang Elasticsearch. Krachtig en flexibel, en het indexeert elke token in elke logregel. Die full-text index is geweldig totdat je naar de rekening kijkt. Je betaalt ervoor in CPU bij ingest, in RAM om de index warm te houden, en in opslag die sneller groeit dan je daadwerkelijke logvolume. Ik draaide ooit een ELK stack in een vorige baan en was meer tijd kwijt aan het tunen van JVM heap sizes dan aan het lezen van logs. ...