Het Centrum Wiskunde & Informatica (CWI) heeft een nieuwe standaard ontwikkeld waarmee gereconstrueerde 3D-beelden realtime verstuurd kunnen worden via internet. Nu vormt bandbreedte vaak de spelbreker voor online toepassingen van realtime-3D. Dat moet met de nieuwe bevindingen van promovendus aan de Vrije Universiteit Amsterdam, Rufael Mekuria, verleden tijd zijn.
Hij heeft nieuwe strategieën ontwikkeld voor de compressie en transmissie van gereconstrueerde 3D-beelden via het internet. De promovendus richtte zijn onderzoek op netwerkproblemen met betrekking tot 3D-mediacontent en dan vooral realtime 3D- en interactieve tele-content’, licht CWI toe. De nieuwe strategieën voor transmissie en compressie bestaan uit drie methodes voor de compressie van 3D-meshes. Dat zijn de gaasmodellen waaruit de objecten zijn opgebouwd. Ook is er een codec voor ’time varying’ van 3D-puntenwolken. Een puntenwolk is een lijst van 3D-coördinaten die is opgebouwd uit een coördinatenstelsel waarbij de afstand tussen twee coördinaatlijnen constant is.
CWI: ‘Deze ondersteunen realtime transmissie en synchronisatie van 3D -beelden via het internet en zijn bruikbaar in interactieve en virtuele 3D-omgevingen. Ze maken het mogelijk om 3D virtuele content eenvoudiger te mixen met realistische content. Een deel van de implementatie is ‘open source’ en de resultaten hebben geleid tot de ontwikkeling van een Mpeg-standaard op het gebied van puntenwolk-compressie.’
In het onderzoek wordt beschreven hoe eindgebruikers verschillende 3D-opnameapparaten kunnen gebruiken om 3D-weergaven van zichzelf op te nemen en realtime door te sturen. Meshes en puntenwolken gereconstrueerd op basis van meerlaagse afbeeldingen en audio afkomstig van microfoonopstellingen maken deel uit van de 3D-representaties. CWI: ‘Dit soort beelden wordt momenteel niet ondersteund door bestaande media-codecs. De nieuw ontwikkelde codecs en transmissiemethodes zullen nieuwe 3D-virtual reality- en teleportingtoepassingen mogelijk maken.’
Online interactie
CWI: ‘Internet wordt gebruikt voor communicatie via videoconferenties, audiogesprekken, chatten, het delen van foto’s, online gaming en virtual reality. Buitengewoon realistische 3D-beelden die echte en kunstmatige content met elkaar verbinden in een virtuele wereld, zullen in steeds grotere mate deel uit gaan maken van deze online interactie. De huidige internetinfrastructuur is echter niet berekend op deze manier van communicatie.’
Dit komt volgens de wiskundigen voornamelijk door het volume van gereconstrueerde 3D-beelden. ‘End-to-end internetverbindingen hebben een beperkte bandbreedte en ondersteunen momenteel geen realtime overdracht van een ongecomprimeerd 3D-puntenwolk of mesh model. Dit vraagt om de ontwikkeling van efficiënte methodes voor compressie en transmissie. Daarbij moet rekening gehouden worden met verschillende soorten software en apparaten zoals browsers, desktop, mobiele en serverapplicaties.’
CWI
Mekuria voerde zijn onderzoek uit in de Distributed and Interactive Systems groep van het CWI. Dat gebeurde onder begeleiding van Dick Bulterman en Pablo César. Het onderzoek werd gefinancierd door het FP7 Reverie project van de Europese Commissie.
Het Centrum Wiskunde & Informatica (CWI) is sinds 1946 het nationale onderzoeksinstituut voor wiskunde en informatica. Het is gevestigd op het Amsterdam Science Park en is deel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO).
