Op weg naar de DataLakeWarehouseMart?

DATAREVIVAL – We leven in een ict-wereld die permanent op zoek is naar nieuwe concepten, bevolkt door verwarde studenten en professionals. Het moet echt anders of de opkomst van data science en artificial intelligence (ai) maakt ons rijp voor een inrichting.

Informatica, informatiekunde, computer science. Hoe je het ook noemt, de wetenschap waarop de ict-wereld is gebouwd is een heel vreemde. Essentieel voor wetenschap is dat we proberen om zaken die verschillend lijken onder één noemer te brengen. In zijn meest extreme vorm zien we dat in de natuurkunde, waar ze hard op zoek zijn naar een ’theorie van alles’: één verklaring voor alle krachten in de natuur, in één model, dat zowel kan worden losgelaten op het subatomaire als op het complete universum. Steeds leidt dit zoeken naar gemeenschappelijkheid tot spectaculaire toepassingen, zoals de halfgeleidertechnologie waarop onze complete ict-praktijk is gebouwd.

Faliekant mislukt

Vergelijk dat eens met wat wij doen. De wereld van informatica/-kunde is precies omgekeerd. Wij leven en werken in een uitdijende ruimte van concepten, ad hoc softwaretools, dubieuze metaforen en soms totaal idiote ideeën – zei daar iemand ´blockchain’? Natuurlijk is veel van wat er gebeurt gebaseerd op solide wetenschap, meestal de wiskunde. Zo is de relationele databasetechnologie een uitwerking van wiskundige predicatenlogica die teruggaat tot vóór Christus. De bedenker ervan, E.F. Codd, verzette zich tegen allerlei ‘praktische’ oplossingen voor data opslag en -management. Weinigen realiseren zich dit, maar essentieel voor relationele technologie is dat deze gebaseerd is op minder concepten en slimmigheden. En latere pogingen om concepten toe te voegen aan relationele databasetechnologie, zoals object-relationele databases, zijn faliekant mislukt.

Ondertussen zijn er door de opkomst van toepassingen die zich richten op complexe data (audio, video, geo, et cetera) toch andere, gespecialiseerde datamanagementproducten opgekomen. Als wij natuurkundigen waren dan zouden we hard bezig zijn met het bedenken van één database-denkkader waaronder we zowel relationele datatechnologie als die toepassingen voor complexe data zouden kunnen scharen. Oude en nieuwe toepassingen zouden dan met één technologie kunnen worden bediend. Maar dat past niet in onze mentaliteit. Nee, wij noemen onze nieuwe databaseproducten gewoon ‘NoSQL’ en zijn happy met wéér iets nieuws dat niets dat oud is vervangt.

Rampzalige ict-toepassingen

Hetzelfde centrifugale denken zien we in de wereld van de klassieke ict’ers, de mensen die als vanouds bezig zijn met administratieve systemen. Toen ik medio jaren 80 in de ict terechtkwam was het streven om een einde te maken aan wat toen eilandautomatisering heette. Het hele idee van werken met databases was daarbij om te komen tot één data-infrastructuur die volledig onafhankelijk was van hoe er met die data zou worden omgesprongen. Dat ideaal bleek veel te hoog gegrepen en is pakweg dertig jaar geleden overboord gegooid. Losse systemen zijn oké, want de data pompen we wel over naar een apart datawarehousesysteem. Voor speciale behoeften zetten we gewoon een datamart neer met een dimensioneel datamodel op maat. Of we plempen data-kopieën uit allerhande systemen gewoon bij elkaar en noemen dat een datalake. De centrifuge spint hier zo hard dat zelfs de term datalakehouse de ronde doet. Je hoeft geen hoogleraar te zijn om in te zien dat dit alles weinig te maken heeft met kennisvergroting. We creëren verwarde mensen die soms zelfs geloven dat dit allemaal mooi past in een toekomstige blockchainoplossing. En met verwarde maar tevreden ict’ers in eigen, gescheiden hokjes creëer je rampzalige ict-toepassingen.

En ja, sinds enige tijd worden we overspoeld door data science en ai, wéér een nieuwe wereld vol met plenty mooie toepassingen. Iedereen springt er op en dan krijg je zoiets als de datascience-plaat (zie afbeelding) die ik op de Hogeschool Rotterdam zag hangen. Met die plaat is niets mis, integendeel. Het is een poging om orde in chaos te scheppen, het begin van een samenhangende visie. Maar naar een link met de klassieke datawereld zoekt het oog tevergeefs. De dataverzamelingen waarop de wereld van data science is gebaseerd bevinden zich in een ander universum. En die link is er overduidelijk. Recent mocht ik daarover een masterclass geven aan de Hogeschool Rotterdam. Waarom informatici/informatiekundigen zo anders geaard zijn dan andere wetenschappers is een vraag die niet eventjes in een column valt te beantwoorden. Het zou al heel mooi zijn als meer mensen gaan inzien dat er wetenschappelijk veel valt te winnen als we stoppen met doen alsof nieuwe concepten en tools betekenen dat er sprake is van vooruitgang. En behalve dat vertalen wetenschappelijke inzichten zich bij ons ook in harde euro’s. Ook dat is iets waarin onze ict-wereld verschilt van die van de natuurkundigen. Het is bij ons niet alleen maar ellende.

Dit artikel verscheen eerder in jaargids Computable 100, magazine #1 2024.