De data-aanpak in organisaties kan danig verschillen. We overlopen de belangrijkste concepten en termen – en starten bij datawarehouse om via een data-lake over te gaan tot recente termen. ‘Het verschil zit ‘m in het soort data en scope.’
Welkom het het eerste deel in het grote overzicht van dataconcepten. Want hoe meer data, hoe beter.
1. Datawarehouse
Bij een datawarehouse gaat het om het opslaan van gestructureerde (relationele) data. ‘Dus met een vooraf bepaald formaat, soorten velden,…’, illustreert Edle Everaert, die tot voor kort hoofd van de afdeling ai business consulting was bij ML6. ‘Doorgaans zijn deze data afkomstig uit bestaande operationele systemen, zoals transactiedata, klantdata of product data.’
De data worden periodiek naar het datawarehouse opgeladen, via een batchproces, waarbij tijdens het ophalen en opslaan van de data de opgelegde en verwachte structuur gecontroleerd en waar nodig afgedwongen wordt. Indien nodig worden de gegevens bewerkt. De data in een datawarehouse worden vervolgens doorgaans gebruikt voor rapportage. ‘Waarbij data-specialisten en business-analisten verantwoordelijkheid dragen voor het aanmaken en onderhouden van die rapportages’, aldus Everaert. ‘Het gebruik van de data in een datawarehouse is dus doorgaans op voorhand bepaald, en op basis van het beoogde gebruik wordt bepaald welke data er nodig zijn in het datawarehouse.’
Datawarehouses gaan al even mee. Ze zijn nog steeds van tel, al zijn er alternatieve benaderingen. Een datawarehouse is volgens Everaert een eerder complexe en dure oplossing om verder op te schalen. ‘Zeker wanneer er nieuwe types data toegevoegd moeten worden’, stelt ze. ‘Het voordeel is het snel aanmaken van rapporten en het uitvoeren van ad hoc queries binnen de vooraf bepaalde data scope, en de hoge datakwaliteit.’
2. Data-lake
Bij een data-lake gaat het om het opslaan van zowel gestructureerde als ongestructureerde data, en dat uit verschillende soorten bronnen of operationele systemen. ‘Maar ook data afkomstig van bijvoorbeeld sociale media, webpagina’s of internet of things-apparaten. Het kan daarbij gaan om cijfers, tekst, beelden, geluid of andere.’
Alle data worden opgeslagen in hun oorspronkelijke formaat, zonder bewerking of aanpassingen. Naast dat oorspronkelijke formaat (raw data) worden er doorgaans ook extra lagen voorzien met opgekuiste data en geselecteerde data (curated data met bijvoorbeeld enkel gevalideerde bronnen). ‘Gelet op het soort bronnen gebeurt het opladen van de data continue, het zogenaamde streaming.’
De brede waaier aan data die in een data-lake verzameld wordt, is op uiteenlopende manier te gebruiken, waarbij gebruikssituaties niet op voorhand vastliggen. ‘Hier komt ai en machine learning in beeld, die dit soort grote databronnen met ongestructureerde data nodig hebben om hun sterkte te tonen’, merkt Everaert op.
Het nadeel van een data-lake in deze definitie zit volgens haar in het risico op problemen rond datakwaliteit, data-security bij gevoelige data, complexiteit in beheer, en eventuele performanceproblemen gezien de volumes. ‘Het voordeel zit in het volume aan data dat is op te slaan op een kostenefficiënte manier, de zogenaamde big data, en de flexibiliteit in soorten data.’
3. Data-mart
Een data-mart hangt nauw samen met een datawarehouse. Vaak wordt het omschreven als een eenvoudige vorm van een datawarehouse gericht op een onderwerp of bedrijfstak, zoals verkoop, financiën of marketing.
Everaert ziet in de data-mart een fundamenteel verschil met een datawarehouse. ‘Het heeft hetzelfde soort data, focus op structureren van de data, en vooraf bepaald gebruik’, weet ze. ‘Het verschil zit ‘m in de scope, waarbij een data-mart een meer beperkte scope heeft, om nog sneller te kunnen werken.’
(In deel 2 van deze minireeks meer over de termen: data-lakehouse, data-mesh en data-fabric.)
