Observability stack on Tom Meurs

Prometheus en Thanos: metrics op schaal

Sun, 31 Aug 2025 10:00:00 +0200

TL;DR Prometheus alleen bewaart een week of twee aan metrics op lokale schijf en kan geen vraag over meerdere clusters heen beantwoorden. Thanos zet een sidecar naast elke Prometheus, stuurt de blocks naar object storage en zet er een querier voor die alles terugleest via dezelfde PromQL. Hieronder de installatie, de vier componenten, de bedrading voor HA en multi-cluster, en de getallen die ik in productie draai.

De eerste keer dat iemand me vroeg “was dit vorige maand trager dan nu?”, had ik geen antwoord. M’n Prometheus onthield twee weken. De data die ik nodig had was allang van de lokale schijf af en weg. Dat gat is de reden dat deze post bestaat.

Loki voor Kubernetes logging: de Prometheus-achtige aanpak

Tue, 31 Mar 2026 21:15:00 +0100

TL;DR Loki indexeert labels en bewaart de logtekst als gecomprimeerde chunks, dus een maand logs past op commodity hardware. Wat je inlevert is full-text search. Hieronder de single-binary-install waar ik iedereen mee laat beginnen, dezelfde chart op MinIO met drie replicas, en de knoppen waar ik pas aan zat toen het volume echt was.

Je hebt Prometheus voor metrics, dus je ziet al wat er in je clusters gebeurt. Metrics vertellen je dat de latency om 14:32 piekte. Ze vertellen je niet dat de payment service een null pointer gooide omdat iemand een config-wijziging met een typefout uitrolde. Daarvoor heb je de logregel nodig.

Distributed tracing met Tempo en OpenTelemetry

Sat, 04 Apr 2026 19:47:00 +0100

TL;DR Tempo is waar m’n traces heen gaan. De OpenTelemetry Collector ontvangt spans van elke service, tail sampling houdt elke error en elke trage request vast, en Tempo schrijft de rest naar MinIO met drie dagen retentie. Vanaf een span in Grafana klik ik door naar de Loki-regels met dezelfde trace ID. M’n productie-values staan onderaan.

Je metrics zeggen dat iets traag is. Je logs zeggen dat er errors waren. Prima. Welke request faalde, waar kwam die latency vandaan, en welke service in de keten vrat de timeout op? Geen van beide kan je dat vertellen.

Grafana-dashboards die daadwerkelijk gebruikt worden

Sat, 02 May 2026 20:15:00 +0100

TL;DR Elk dashboard beantwoordt één vraag, en binnen vijf seconden weet ik of ik me druk moet maken. Vier soorten dashboards dekken alles, variabelen en links knopen ze aan elkaar, en de JSON staat in Git. M’n homelab draait er vijf, en wat een maand niet geopend wordt gooi ik weg.

Je hebt Grafana. Je hebt Prometheus-metrics. Je hebt logs in Loki en traces in Tempo. De data staat er allemaal.

Je hebt ook 47 dashboards die niemand opent.

Alerting dat werkt: van alert fatigue naar actionable notificaties

Thu, 16 Apr 2026 20:15:00 +0100

TL;DR De meeste default alertregels pagen op een getal zonder gebruiker erachter, en na een week lees je geen page meer. Ik alert op error rate, P99-latency, een disk die binnen 24 uur vol zit en een certificaat dat binnen zeven dagen verloopt, een stuk of tien regels bij elkaar, elk met een runbook. Alertmanager stuurt critical naar de pager, warning overdag naar Slack en info nergens heen. Alles wat geen mens nodig heeft gaat weg.

Thanos remote write: push-based metrics voor edge en multi-cluster

Fri, 27 Mar 2026 20:38:00 +0100

TL;DR Thanos Receive draait de metricsstroom om. Elke edge-Prometheus pusht z’n samples via remote_write naar één centraal endpoint, buffert in z’n WAL als de link wegvalt, en ziet nooit een object-storage-credential. Hieronder de Receive StatefulSet, de hashring, de edge-config, twee manieren om het endpoint dicht te timmeren, en de hybride die ik draai met sidecars op de core clusters.

In mijn vorige post over Prometheus en Thanos zette ik de sidecar-architectuur op. Thanos Sidecar draait naast Prometheus, uploadt TSDB-blocks naar object storage en stelt de data via gRPC beschikbaar aan de Querier. Voor clusters in hetzelfde datacenter, met een dikke stabiele link naar de centrale infrastructuur, heb ik daar niks op aan te merken. Alles pullt, en alles kan bij alles.