Duitse onderzoekers hebben de Microsoft Kinect-camera ingezet om computers de gebarentaal te laten begrijpen die mensen gebruiken wanneer ze een object omschrijven. De onderzoekers noemen het resultaat 'data miming'. Dat is het herkennen van objecten op basis van gebaren. De techniek kan in de toekomst bijvoorbeeld gebruikt worden om objecten uit een catalogus te selecteren.
'Sprekers gebruiken vaak handgebaren wanneer ze fysieke objecten beschrijven', aldus onderzoekers Christian Holz and Andy Wilson van de Human-Computing Interaction group van het Hasso Plattner Institute in Potsdam. 'Die gebaren zijn vooral bruikbaar wanneer de spreker vormkenmerken belicht die moeilijk met woorden te beschrijven zijn.'
Daarom ontwikkelden de onderzoekers een prototype van 'data miming'-software. Dat is software die op basis van handgebaren kan herkennen welk object uit een verzameling objecten wordt bedoeld. De applicatie gebruikt daarvoor een databank met beelden.
Tijdsduur gebaar van belang
Om hun applicatie te ontwikkelen, filmden de onderzoekers mensen, terwijl ze met hun handen de vorm van een object in de lucht tekenden.
Niet alleen de afstand tussen de handen van de proefpersonen werd gemeten, maar ook de tijdsduur van elk gebaar. Handgebaren om een object te beschrijven verlopen namelijk relatief langzaam, terwijl een snelle handbeweging meestal alleen betekent dat de spreker de aandacht wil vestigen op een ander deel van het object. Bij het interpreteren van de signalen bleek dat mensen meestal beginnen met de omtrek van een object en daarna kleinere onderdelen aangeven.
