CWI onderzoekt database-architecturen Apache Spark

Het Centrum Wiskunde & Informatica (CWI) en het Amerikaanse Databricks hebben een samenwerking aangekondigd. CWI gaat in opdracht van Databricks onderzoek doen naar database-architecturen voor veranderende gegevens. Het gaat bijvoorbeeld om data uit sociale-medianetwerken. Databricks is opgericht door ontwikkelaars van het populaire opensource-data-analyseplatform Apache Spark.

Databricks financiert onderzoek in de Database Architectures-groep van CWI. Dat is de onderzoeksgroep die eerder de databasesystemen VectorWise en MonetDB ontwikkelde.

'Onze onderzoekers werken aan database-technieken die voor Databricks interessant kunnen zijn. Het gaat om methoden waarmee gebruikers grote hoeveelheden data kunnen analyseren, waarbij het niet alleen om tabellen hoeft te gaan, maar ook om (sociale) netwerken met groeiende en veranderlijke gegevens', licht CWI toe.

De samenwerking tussen CWI en het bedrijf uit San Francisco is officieel beklonken tijdens de Duitse industrie- en techbeurs Hannover Messe. Minister Henk Kamp van Economische Zaken was bij die bijeenkomst aanwezig. Eerder dit jaar opende Databricks speciaal voor de samenwerking met het CWI en plaatselijke engineering-talenten een R&D-centrum in Amsterdam.

Apache Spark

Databricks leidt de ontwikkeling van de opensourcesoftware Apache Spark, wereldwijd één van de meest gebruikte softwaretools om grote hoeveelheden data te analyseren. Databricks biedt Spark aan als service in de cloud: met Spark analyseren bedrijven en organisaties efficiënt en effectief hun data in een beheerde omgeving.

Volgens senior-onderzoeker in de Database Architectures-onderzoeksgroep Peter Boncz, tevens coördinator van de samenwerking, is de komst van Databricks naar Amsterdam een verrijking van het lokale data-science-ecosysteem. Bovendien onderstreept het volgens hem CWI's reputatie op het gebied van big-datatechnologie.

Berkeley en Stanford

Boncz ziet duidelijke kansen voor het fundamentele CWI-onderzoek: 'Voor CWI levert de samenwerking de kans op om achter de schermen mee te kijken bij Databricks. We krijgen inzicht in de diversiteit aan data-analyseproblemen waarmee gebruikers worstelen, en ontdekken zo de open vragen op het gebied van data-analyse. Daarnaast zijn bij Databricks professoren van Berkeley en Stanford betrokken, dus er ontstaan ook nieuwe wetenschappelijke samenwerkingen.'

Spark sneller en schaalbaar

'We kijken ernaar uit onze r&d-aanwezigheid in Amsterdam te versterken, en baanbrekend werk te verrichten op het gebied van big data-analyse en data-science', zegt Ram Sriharsha, interim vestigingsmanager van het nieuwe Amsterdamse R&D-center van Databricks. De samenwerking met het CWI, en met name de expertise van het CWI op het gebied van high-performance databases, is volgens Sriharsha doorslaggevend bij de keuze voor Amsterdam. We hopen dat we dankzij de samenwerking Spark en Databricks sneller en meer schaalbaard kunnen maken.'