De databasewereld is momenteel sterk in beweging. Innovaties als kolom-georiënteerde databases en in-memory databases technologie gaan onze visie op datamanagement sterk veranderen. Zij staan aan de wieg van de huidige visie op datamanagement. Het zijn nieuwe technologieën die een markt creëren waar in hoog tempo gloednieuwe database management systemen (DBMS) worden gelanceerd. Aanhaken bij nieuwe databasetechnologie kan echter ook zonder de aanschaf van de nieuwste DBMS-producten.
De grote explosie van gegevens (big data) maakt dat de ontwikkeling van een infrastructuur die deze gegevens verzamelt en omzet in bruikbare inzichten niet langer vrijblijvend, maar een aantoonbare noodzaak is geworden. Innovaties op het gebied van processoren en geheugencomponenten gaan echter zo snel dat database managers een constante inhaalrace aan het voeren zijn. In hoog tempo worden gloednieuwe database management systemen in de markt gezet die vaak gepaard gaan met de nodige kinderziekten. Het kan jaren duren voordat deze producten uitontwikkeld zijn en het voordeel van nieuwe technologie daadwerkelijk benut wordt. Veel praktischer is eerst te overwegen hoe nieuwe technologieën in bestaande systemen ingepast kunnen worden.
Méér dan een nieuw product
Innovatie laat zich niet rücksichtslos vertalen naar ‘afscheid nemen van het bekende’. Nieuwe technologieën kunnen ook geïntegreerd worden in de vertrouwde systemen die we al jaar en dag gebruiken. Een typisch voorbeeld is terug te zien bij autofabrikanten, waar modulaire platforms de noodzaak vervangen om voor ieder model auto een apart platform te bouwen. Met een aantal standaard componenten kunnen er via deze modulaire platforms tientallen verschillende kleine en middenklasse auto’s van dezelfde band rollen.
Ook de DBMS-markt kent een soortgelijke aanpak. De fundamenten die dertig jaar terug gelegd zijn, stellen organisaties in staat om baanbrekende nieuwe technologie, zoals in-memory computing, te benutten en tegelijkertijd de volledige functionaliteit van hun vertrouwde DBMS te behouden.
Naar real-time dataverwerking
Nieuwe DBMS-versies breiden de mogelijkheden van traditionele opslagsystemen uit. In-memory computing zorgt ervoor dat grote hoeveelheden data kunnen worden verwerkt, zelfs als de opslagcapaciteit wordt overschreden. Het gecombineerde effect van deze innovaties is dat organisaties zeker vijfentwintig keer sneller kunnen rapporteren en analyseren.
Een Nederlands succesverhaal is een bedrijf actief in transactieverwerking. Een consument plaatst een bestelling bij een grote webwinkel met een valse creditcard. Tot nu toe werd deze frauduleuze handeling een dag later geïdentificeerd, waardoor de webwinkel risico loopt dat de fraudeur al gevlogen is. Door de snelle dataverwerking kan de transactieverwerker samen met de webwinkel ‘near real time’ controleren of de creditcard geldig is, waarna de webwinkel beslist of de bestelling daadwerkelijk verzonden wordt. De webwinkel hoeft geen verliezen te nemen in onbetaalde goederen en opsporingskosten.
Aanhaken bij nieuwe databasetechnologie kan ook zonder de aanschaf van de nieuwste DBMS-producten. Het feit dat database systemen zich al dertig jaar staande houden in de markt is het bewijs van de kwaliteit die in de oorspronkelijke ontwerpen liggen. Door de flexibele uitbreidingsmogelijkheden van het systeem zijn organisaties in staat de innovatieve technologie naadloos te integreren in hun vertrouwde database-omgeving.
Alexander Strijbos, Core Database Sales Leader bij IBM
“Tot nu toe werd deze frauduleuze handeling een dag later geïdentificeerd, waardoor de webwinkel risico loopt dat de fraudeur al gevlogen is.”
Sorry, maar dit is gewoon niet waar, al sinds jaar en dag wordt dit ook in Nederland gewoon real time gecontroleerd.
Dat hier geen database producten voor nodig zijn, dat klopt dan wel weer.
Zeker helpt een snelle controle om creditcard fraude te voorkomen maar het is ook weer het paard achter de wagen spannen. Kijkend naar groeiende probleem is er ook nog wel wat af te dingen op de wijze waarop webwinkels met creditcard gegevens omgaan. Er zijn meer manieren om ‘zonder te betalen’ uit gevangenis te blijven. De fundamenten van dertig jaar geleden hielden tenslotte niet rekening met de gevaren van vandaag, de DBMS is dan ook vaak de RCA van (beveiligings)problemen.
Niet genoemd maar wel noemenswaardig is het feit dat databases nog weleens incorrect of onjuiste informatie bevatten. Misschien zijn deze fouten er opzetttelijk ingeslopen maar vaak ook onopzettelijk. Zeker 30 jaar oude databases bevatten een hoog percentage onjuiste gegevens, neem als voorbeeld GBA welke als fundament gebruikt wordt voor vele processen.
Ik had 30 jaar geleden een tegelje met een wijsheid die steeds vaker waarheid wordt: ‘Ik heb binnen een seconden antwoord maar het kost me weken om te controleren of deze juist is’ Bij fraude op grote schaal duurt het echter jaren, een manipulatie van de rente met 0,01% blijft feitelijk zelfs ongestraft.
En kijkend naar de schikkingen van afgelopen jaar is fraude met creditcards in harde cijfers uitgedrukt peanuts. Daar heb ik trouwens geen in-memory database voor nodig omdat een eenvoudige Excel-sheet volstaat. Zoals ik meerdere malen aangegeven heb in de discussie over big data is de snelheid van verwerking helemaal niet interessant voor de uitkomsten. Crap in/out blijft de uitkomst als de invoer gecorrumpeerd of gemanipuleerd is. Dat data verwerking sneller gaat wil nog niet zeggen dat dataverwerkers er gelijke tred mee houden.
Hoe sneller de computer hoe dommer de gebruiker is dan ook nog weleens een wetmatigheid.
Ik kan mee in het idee dat er een woud aan mogelijkheden zich openen maar dan wel een beetje in minder dramatische zin. Ik denk dat de eerste vraag feitelijk moet zijn, wat wil men nu eigenlijk met die data?
Wat wil men er uit extraheren.
Ik kan me bijna niet voorstellen dat het aantal tweets over een vaag en trendy topic nou zo’n waarde zal hebben of dat je een manier gaat bedenken reacties te peilen op een product met twitter. als voorbeeld dan even. Dan heb je namelijk gericht nagedacht over wat je met data wil gaan doen.
Een bom is een bom als er boem op staat
Ik kan ook beginnen met een boek over een ‘bommenmaker’. Ik zie enkelen van u met de perikelen van de NSA in het achterhoofd al gniffelen. Menig meter van searchengines slaan namelijk op tilt als ze over enkele uurtjes deze woorden in dit artikel tegenkomen. Laten we dan vooral President Obama er maar niet bij betrekken. ;O)
Achter de feiten aan
Dat vind ik een beetje paradoxaal. Je zal eerst data moeten hebben om er feiten uit te kunnen extraheren. Dus je loopt zoiezo achter ‘feiten’ aan.
Real time
Als we het technisch beschouwen en je wil van een soort Big Data achtig scenario uit gaan heb je wellicht vele terrabites aan opslag nodig om uberhaupt iets te kunnen. Je loopt dan tegen tal van private issues en regelgeving aan die je eerst zal af moeten dekken. Een private onderneming is nu eenmaal geen overheid die vind dat zij met bergers/klanten maar mogen doen wat het goed dunkt door er een gelegaliseerd tintje aan te geven.
Frauduleus
We hebben het dan ook nog niet eens over frauduleus presenteren van data of misbruik van data.
Real time bancair
Ik ken twee gevallen waarbij binnen vijf minuten na het over willen zetten van een financiële transactie de bank al aan de lijn hing. De transactie was in beide gevallen geblokkeerd. Reden: Ghost overboeking door meeliften. Banken hebben al real time software, gelukkig, mee draaien.
Kort en goed, het lijkt me voor de hand liggend dat je eerst vast stelt wat je met data wilt. Wat voor data heb je nodig en wat is je doel. Pas daarna kun je een een keuze maken wat voor type database je uiteindelijk toch wel niet nodig hebt.
Lijkt mij dan…