Onderzoeker claimt nieuwe zoekmethode

'Database cracking versnelt zoekresultaat'

Zoekopdracht niet uitgevoerd via index-structuren

Onderzoeker Idreos licht het principe van database cracking toe aan de hand van een stapel ongeordende speelkaarten.

Onderzoeker Stratos Idreos van het Centrum Wiskunde & Informatica (CWI) in Amsterdam heeft een techniek ontwikkeld om grote databestanden sneller te doorzoeken. Hij noemt zijn methode 'database cracking'. Daarbij wordt bij elke zoekopdracht de data opnieuw gesorteerd. Daardoor ontstaat een steeds betere sortering en kan bij elke volgende zoekopdracht het antwoord sneller worden gevonden.

Binnen de databasetechnologie worden zoekopdracht meestal uitgevoerd via index-structuren. Daarbij wordt vantevoren een zoekindex opgezet en vastgelegd.

Idreos claimt de eerste techniek ontwikkeld te hebben waarbij het databasesysteem de rol van de beheerder overneemt. Idreos verdedigt zijn proefschrift 24 juni 2010 aan de Universiteit van Amsterdam.

Database cracking

Bij database cracking wordt niet alles vooraf precies geïndexeerd. Bij elke nieuwe zoekopdracht wordt de data hergesorteerd. Het systeem schrijft de data in een nieuwe volgorde terug. Hierdoor onstaat volgens Idreos automatisch een steeds betere sortering, waardoor bij elke volgende opdracht sneller een antwoord wordt gevonden. Omdat vooraf geen zoekindex wordt ontwikkeld bespaart de nieuwe techniek volgens de onderzoeker bovendien veel tijd en kosten.

Idreos licht het principe toe aan de hand van een stapel ongeordende speelkaarten: 'Als een gebruiker vraagt naar een harten twee, kan het systeem ook wel meteen alle harten die het onderweg tegenkomt op een stapel met alleen harten leggen en alle niet-harten op een tweede stapel. Bij een volgende vraag naar alle klaveren weet het syteem dat het alleen hoeft te zoeken in de stapel niet-harten.'

strandganger, 25-06-2010 13:20

Hoe kan je nu sneller zoeken als je eerst moet sorteren tijdens je zoekopdracht? Als je eerst sorteert (buiten productie tijd of op schaduw gegevens) en dan zoekt is volgens mij altijd sneller in het zoeken. Hoe gaat het algoritme om met een andere zoekmogelijkheid bv alle tweeën in een stapel kaarten. Hoe slaat hij deze sortering vervolgens op? (Index?) Vol verwachting tot Hugo's proefschrift openbaar wordt.

Ad, 25-06-2010 13:44

Lees net over het amerikaanse Palantir (zie ook Techcrunch), denk dat die nog een stap of twee verder zijn ...

corne, 25-06-2010 14:13

Dat is wat een huidige database met caching probeert te realiseren. Lijkt me interessant te weten hoe dit werkt.
Zou graag een proefschrift hebben.

Hans, 25-06-2010 18:21

Alle harten netjes bij elkaar leggen en dan blijkt dat er de volgende keer op zwart gezocht wordt of op kaarten met een scheurtje erin. Zou leuk zijn als het systeem een index zou maken voor veel gebruikte zoekopdrachten of voor zoekopdrachten die moeilijk zijn en daardoor normaliter (te) lang duren. Als dat bedoeld wordt heeft men wel een omslachtige manier gevonden om het uit te leggen.

Technicus, 26-06-2010 14:30

Ik weet ook niet precies wat ze hier bedoelen.
Indexen bouwen over indexen heen?

	Aantal reacties met 3+ sterren		Gemiddelde waardering
1	PaVaKe	147	6.4
2	Reza Sarshar	113	6.6
3	Henri Koppen	103	6.4
4	edekkinga	75	6.6
5	Jaap-G	53	6.1
6	Guido Groeneweg	49	6.3
7	Frank Brechts	43	6.0
8	mauwerd	42	6.1
9	Rob Koelmans	40	6.3
10	Ad Gerrits	39	6.3

Nieuws / Business Intelligence

Onderzoeker claimt nieuwe zoekmethode

'Database cracking versnelt zoekresultaat'

Zoekopdracht niet uitgevoerd via index-structuren

Database cracking

03-02 Facebook steekt Google naar beurskroon

03-02 Clouddiensten Dell en Atos voor Wolters Kluwer

03-02 IntraData en Centric breiden samenwerking uit

03-02 'Overheid vreest voor veiligheid in de cloud'

03-02 Learningguide Solutions wijzigt naam in Ontuitive

03-02 Apple eist alsnog Samsung Galaxy-verbod

03-02 Unit4 regelt herfinanciering van 150 miljoen euro

03-02 HDD-fabrikanten schroeven massaal garantie terug

03-02 SLTN en ICTroom openen Datacenter Brabant

03-02 Macaw-ontwikkelaar wordt Sharepoint-master

27-01 Te veel aandacht voor KPI's leidt af

24-01 SAS ziet omzet met 12 procent stijgen

23-01 Gebruik strategiekaart en Balanced Score Cards...

23-01 CIO zet analytics en BI op eerste plaats

23-01 Marktplaats.nl benut met SAS markt- en klantkennis

20-01 Software en diensten bezorgen IBM groeicijfers

20-01 Datamanagement hot item voor verzekeraars

19-01 IBM-CIO stimuleert social networking

18-01 IBM Connections krijgt vaste voet aan de grond

18-01 IBM maakt werk van zakelijke Facebook

De gecombineerde kracht van JD Edwards en Salesforce.com