Met het toenemend gebruik van gedistribueerde systemen door organisaties, neemt ook observability in belang toe. In tegenstelling tot meer traditionele systemen bestaan gedistribueerde systemen uit veel meer verschillende onderling verbonden lagen. Hoewel dit over het algemeen betrouwbaarheid en prestaties in de hand werkt, is het vaak lastiger om een goed overzicht te krijgen van de verschillende onderdelen.
Als het overzicht ontbreekt, s het lastig na te gaan hoe de verschillende onderdelen met elkaar verbonden zijn, waardoor problemen vaak een complexe uitdaging vormen. Observability (waarneembaarheid) lost dit probleem op omdat het blootlegt wat er binnen een systeem gebeurt op basis van data die het systeem extern heeft prijsgegeven. Ofwel, je kunt erachter komen wat er diep in het systeem plaatsvindt.
Drie pijlers
Observability is gebaseerd op drie soorten telemetrie-data: metrics, traces en logs. Dit noemen we ook wel de ‘drie pijlers van observability’. Elke pijler kan afzonderlijke informatie geven over problemen en de hoofdoorzaken van het betreffende probleem lokaliseren. Zodra de genoemde pijlers worden samengevoegd, ontstaat er een holistisch beeld van de it-infrastructuur. Hierdoor is het mogelijk om veel betere inzichten te krijgen, waardoor de productiviteit aanzienlijk wordt verhoogd, systeemstoringen zijn te beperken en gebruikers een betere interactie krijgen met het betreffende systeem.
De eerste pijler bestaat uit metrics. Dit zijn numerieke datapunten die in het verleden zijn vastgelegd. Ze kunnen eenvoudig worden opgehaald, gecomprimeerd, opgeslagen en worden verwerkt. Bovendien kunnen metrics worden gecorreleerd met andere event data om achter de meest fundamentele vragen te komen waarmee it-afdeling worden geconfronteerd. Is er een vertraging in de systeemprestaties die van invloed is op klanten? Hebben medewerkers problemen met inloggen? Is er ongewoon veel verkeer? Gaat ons klantenverloop omhoog?
Traces daarentegen doen precies wat de naam doet vermoeden: ze traceren het pad van een event door het netwerk. Dankzij traces komen organisaties erachter waar een event plaatsvindt of waar zich een knelpunt voordoet. Als klanten bijvoorbeeld problemen hebben met inloggen, kan een trace de database vinden waardoor ze geen toegang krijgen. Traces helpen bij het samenbrengen van de data die worden geleverd door metrics. Logs zorgen daarentegen voor een completer beeld van de prestaties van een systeem in de loop van de tijd.
De derde pijler zijn logs. Dit zijn door het systeem gegenereerde records van events die plaatsvinden binnen een applicatie. Moderne it-systemen genereren stapels en stapels logbestanden die alles volgen wat er gebeurt. Monitoringssystemen zijn gebouwd om logs te analyseren en deze te gebruiken om systeemproblemen te identificeren en op te lossen of te voorkomen. Ze bieden meer informatie en context over waarom een probleem zich heeft voorgedaan.
Veel meningen
Hoewel het begrijpen van de drie pijlers van observability essentieel is bij het implementeren van een observability-omgeving binnen de it-infrastructuur, zijn er veel meningen over de drie pijlers. Sommigen zeggen dat er geen drie pijlers van observability zijn, anderen menen dat de drie pijlers geen antwoorden hebben.
Hoewel deze meningen extreem overkomen, zit er een kern van waarheid in. Indien je toegang hebt tot de logs, metrics en traces, betekent dat nog niet dat je meteen een holistisch beeld van het systeem hebt. Logs, metrics en traces zijn slecht de bronnen waar je iets mee zult moeten doen om waarden te creëren. Het gaat ook niet alleen over monitoring van prestaties, applicaties of infrastructuur (hoewel deze net als de drie pijlers er wel deel van uitmaken).
Maar wat is het dan wel? Het is een mindset om aan de hand van data antwoorden te krijgen op de vragen die we willen weten over een organisatie. Het gaat over het begrijpen van de noodzaak om data te analyseren, zodat we antwoorden krijgen die verder gaan dan alleen inzicht in de beschikbare technische app(s). Bij observability willen we alles begrijpen wat er binnen een organisatie speelt, want op deze manier kunnen we échte tastbare, reële waarde creëren.
(Auteur Robin Khullar is group vice president EMEA North bij Splunk.)
Je hebt 3 pijlers nodig, oh nee juist niet. Of ze bestaan niet eens en als ze er wel zouden zijn, bieden ze geen antwoorden.
Koren op mijn molen van eindeloos gedraai. Heerlijk. En wat zo leuk is dat als de observability op orde is dan het dan pas begint. Dan moet je interpreteren, classificeren, vooruitkijken, leren uit verleden. En dan is er nog niet eens iets gedaan.
“Bij observability willen we alles begrijpen wat er binnen een organisatie speelt, want op deze manier kunnen we échte tastbare, reële waarde creëren.”
Je leest het steeds vaker. Waarde creeeren… wtf. Dat klinkt nogal abstract. Weet je wat, laten we het
“echte tastbare reeele waarde creeren” noemen. Misschien weet iemand dan wat er mee bedoeld wordt.
Hoe ging dat vroeger dan. Creeerden we geen waarde of werd dat anders genoemd ? Ik dwaal af, alhoewel ik eigenlijk al niet meer weet waar het over gaat.
Maar splunk dus. Weer pret want bij splunk denk ik altijd aan grote en dure server clusters met peta storage + licenties vol met trage logging en niemand die er wijs uit komt.
Als infrastructuur-knuffelaar kan ik me vinden in de strekking van het verhaal aangaande waarneembaarheid en controleerbaarheid in de controletheorie maar de belangen hierin staan haaks op elkaar door uitbestedingen. Dienstverleners hebben geen belang in het geven van transparantie in het gebruik van de infrastructuur. En door het beheermodel van Looijen vinden we dit eigenlijk wel prima als we kijken naar de interesse voor de infrastructuur vanuit het functionele beheer. Uit het oog, uit het hart is het gevolg van deze mindset dat we roepen dat het groener moet maar dat er eigenlijk geen idee is hoe.
Mindset om aan de hand van data antwoorden te krijgen op de vragen die we willen weten over organisaties dwingt tot waarneembaarheid en controleerbaarheid aangaande de ICT als ik kijk naar de opgave om te rapporteren over de duurzaamheid. En metrics, traces en log helpen hierin als we kijken naar een vraagstuk zoals de kosten per transactie want gaan fundamentele vragen over de workload niet in de eerste plaats om de karakteristiek?