Detail niveau in een datawarehouse

De laatste tijd valt het mij op dat er verschillend gedacht wordt over het detailniveau in een datawarehouse. Detailgegevens zouden horen in een transactieverwerkend systeem. En in een datawarehouse vind je alleen geaggregeerde gegevens. Ik ben het daar niet mee eens. Ook de detailgegevens horen in een datawarehouse.

 Waarom? Ten eerste omdat op basis van het detail niveau er verschillende dwarsdoorsnedes gemaakt kunnen worden. Wellicht zijn de wensen van de gebruikers in de eerste fase alleen een dwarsdoorsnede per productgroep en klantgroep. Maar het is zeer goed mogelijk dat na een half jaar, na gebruik van de gegevens er vragen opkomen die gebaseerd zijn op transactie muntsoort, of transactiedatum in plaats van boekingsdatum. Dan heb je de detail gegevens nodig om dit te kunnen aggregeren.

Ten tweede heb je detail gegevens nodig om afwijkingen van het geaggregeerde niveau te kunnen verklaren. Bijvoorbeeld waarom is de omzet de afgelopen maand zoveel gestegen of gedaald. Hiervoor heb je de detail gegevens nodig uit het datawarehouse. Dit ook omdat ze in het transactieverwerkend systeem kunnen wijzigen.

Wat bedoel ik daar precies mee. In een transactiesysteem veranderen de gegevens in de tijd. De status van een transactie kan gedurende de tijd veranderen.
In een datawarehouse veranderen de gegevens niet. Als ik nu een rapport draai over de stand van gisteren. En ik draai dit rapport volgende maand weer over de zelfde dag, dan zijn de uitkomsten gelijk. Eenmaal opgeslagen in het datawarehouse blijft zo. Een datawarehouse heeft geen updates, alleen inserts.

Hierdoor blijft een rapport, die laat zien wat de verkopen zijn van het afgelopen jaar, constant. Het bedrag van januari is nog hetzelfde, ook als je het rapport in november draait.
In een transactie systeem kan dit veranderen.

Een voorbeeld:
Een rapport geeft weer wat de status is van de bestellingen per maand. We draaien het rapport over januari, op de eerste dag van februari.
Het transactie systeem geeft aan: 80 procent afgehandeld, 15 procent in behandeling, 5 procent afgebroken
Het datawarehouse geeft hetzelfde aan: 80 procent afgehandeld, 15 procent in behandeling, 5 procent afgebroken

Draaien we in december hetzelfde rapport over januari dan kan het volgende gebeuren:
Het transactiesysteem geeft aan: 93 procent afgehandeld, 7 procent afgebroken.
Het datawarehouse zal blijven aangeven: 80 procent afgehandeld, 15 procent in behandeling, 5 procent afgebroken.

Natuurlijk kun je ervoor kiezen om niet het laagste detail niveau in je datawarehouse op te slaan. Dit kan te maken hebben met de hoeveelheid van data. Je moet het ook allemaal kwijt kunnen en willen. Het kan zijn dat het aantal transacties zo'n enorme hoeveelheid is, dat het opslaan en verwerken daarvan op gedetailleerd niveau een grote kostenpost zal leveren. Qua opslagkosten en CPU kosten. Dan kun je overwegen of de kosten opwegen tegen het detailniveau.
Maar aggregeren in een datawarehouse is eenvoudig, meer detail opvragen dan erin zit is onmogelijk.

Wat is jullie mening?