Computer leert woord en gebaar gebruiken

Mariët Theune: "Ik probeer een computerprogramma te bouwen dat een lijf of minimaal een hoofd gebruikt bij het uitvoeren van zijn taak."

Het is dat de aandacht goed is voor haar financier, NWO, anders had Theune het interview liever uitgesteld. "Ik ben nog maar net bezig, ik kan niets laten zien." Theune vertrok na haar studie computationele taalkunde van Utrecht naar Eindhoven, waar ze in december 2000 promoveerde op haar onderzoek naar hoe uit data gesproken taal is te genereren. Ze implementeerde in Eindhoven de taalgeneratiemodule voor een openbaar vervoer informatie systeem. Dat is typisch Theune, haar onderzoek moet iets bruikbaars opleveren. Haar nieuwste onderzoeksproject, Angelica (A Natural-language Generator for Embodied, Lifelike Conversational Agents), moet dan ook resulteren in agents (figuurtjes op een computerbeeldscherm) die met taal en met gebaren bepaalde functies aankunnen.
"Ik probeer een computerprogramma te bouwen dat een lijf of minimaal een hoofd gebruikt bij het uitvoeren van zijn taak." De pratende navigatiesystemen die nu langzaam ingeburgerd raken in auto's komen daar niet bij in de buurt.

Linksaf

Toch werkt de onderzoeksgroep zelf eveneens aan een navigatiesysteem, als eerste praktische toepassing. "Het is voorlopig nog toekomstmuziek, maar we bouwen een driedimensionaal prototype van een receptionist die je de weg wijst in een virtueel muziekcentrum. Je kan in je eigen woorden de weg vragen naar het balkon of het damestoilet. Dat muziekcentrum heeft nu al een receptioniste, maar die beweegt alleen met haar ogen."
Theune maakt voor haar onderzoek onder meer video-opnamen van studenten die een vaste route beschrijven. "Ik stel vast wanneer iets gezegd wordt, waarnaar gewezen wordt en wat de context is. Welk woord krijgt specifiek aandacht? Uit een gezicht kan je veel halen; je kan ook naar links wijzen met je ogen. Om het onderzoek te beperken kijk ik alleen naar handgebaren."
"Bij communicatie komt veel meer kijken dan taal alleen. Het is een combinatie van taal en gebaren. Uit experimenten blijkt dat gebaren behoorlijk bijdragen aan het begrip van toehoorders. In zo'n experiment trainen ze iemand bijvoorbeeld om linksaf te zeggen en dan naar rechts te wijzen. Dan blijkt dat de toehoorders niet meer weten of het nou links- of rechtsaf was."

Aan de vooravond van het Nederlandse ICT-Kenniscongres 2003 op 4 en 5 september publiceert Computable vier interviews met Nederlandse wetenschappers die ict-gerelateerd onderzoek doen met financiële steun van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek.

Theune legt zich voor haar onderzoek nog meer beperkingen op. "Ik onderzoek alleen monologen. Om te beginnen wordt er al veel studie verricht naar dialogen. Het maakt het daarnaast voor mijn toekomstig agent veel makkelijker; je mag hem niet onderbreken."
De toekomstig agent kan iemand de weg te wijzen naar de Technische Universiteit, of bijvoorbeeld het weerbericht op televisie presenteren. Andere concrete mogelijkheden ziet Theune bij de Nederlandse Spoorwegen, waar haar werk dat van de informatrices kan verlichten, of bij gemeenten, waar na sluitingstijd een agent vragen van burgers kan oplossen en vergunningsaanvragen verwerkt. "Wat zeg je dat cru! Ik wil niet alle informatrices werkeloos maken; niets verslaat een persoon voor wat betreft het verstrekken van informatie. Veel bedrijven hebben echter geen geld over voor deze dure voorlichtingsdiensten. Dat is wel een uitdaging."

Gemiddelde

"Waar ik achter wil komen is de functie die de keuze bepaalt tussen spraak en gebaar. Je wilt op een of andere manier een regelsysteem hebben. Op basis van beslissingen maakt zo'n agent hier een gebaar, gebruikt hij daar taal en kiest hij in een andere situatie voor een combinatie. De overwegingen daarvoor zijn volgens mij heel algemeen. Ik denk daarom dat het kan, maar verwacht niet dat het perfect kan zijn. De overeenkomsten tussen alle gebaren die we maken zijn groot, maar er zijn ook sterke verschillen. Straks blijkt dat de grootste gemene deler, hoewel menselijk, op niemand lijkt."< BR>