Voor een Amerikaanse onderzoeksgroep is computervisie door de mand gevallen. Ze gingen er vanuit dat computers inmiddels goed plaatjes konden herkennen, maar kwamen er bij toeval achter dat dat wel eens vies tegen zou kunnen vallen. Wetenschappers gebruiken meestal een vaste verzameling plaatjes om de vaardigheid van computers in objectherkenning te testen, maar volgens de MIT-onderzoekers klopt er iets niet met die verzameling.
Volgens een onderzoeksgroep onder leiding van neurowetenschapper James DiCarlo van het McGovern Instituut voor hersenonderzoek aan het Massachusets Institute of Technology (MIT) zou beeldherkenningssoftware wel eens minder goed kunnen werken dan sommige onderzoeksresultaten doen geloven.
Achterdochtig
De onderzoekers werden achterdochtig toen een zeer simpel beeldherkenningsprogrammaatje (dat ze enkel hadden ontworpen als vergelijkingsmateriaal met iets beters) behoorlijk goede resultaten opleverde. Het team gebruikte plaatjes uit de zogeheten Caltech101-databank om hun nepalgoritme te testen. Deze databank wordt door veel onderzoekers van beeldherkenningsalgoritmen gebruikt voor het testen van hun systemen.
Realiteit
De onderzoekers kregen door deze ervaring het vermoeden dat de Caltech101 plaatjesverzameling niet goed de variatie weerspiegelt die het menselijk oog in de realiteit tegenkomt. De foto’s uit deze databank tonen objecten volgens de onderzoekers te vaak vanuit dezelfde hoek en positie. Een menselijke waarnemer heeft het in de realiteit echter veel moeilijker.
Vliegtuigen en auto’s
De onderzoekers stelden een nieuwe verzameling plaatjes samen, die objecten vanuit meer hoeken, afstanden en posities toonde en met meer verschillende belichtingen en achtergronden. Ze fotografeerden slechts twee typen objecten voor hun test-databank: vliegtuigen en auto’s. Ondanks die kleine keuzemogelijkheid maakte het beeldherkenningsprogrammaatje meer fouten dan het had gemaakt toen het plaatjes uit de Caltech 101-databank moest herkennen.
Menselijk brein
De onderzoekers pleiten ervoor om een nieuwe databank met plaatjes te ontwerpen voor het testen van algoritmes voor het visueel herkennen van objecten. Ze vinden daarnaast dat onderzoekers eerst beter moeten begrijpen waarom het menselijk brein wél zo goed is in het visueel herkennen van objecten, voordat ze verder gaan met het ontwerpen van algoritmes voor beeldherkenning.
