BrainCreators kondigt aan dat het een samenwerkingsverband is aangegaan met het Insight SFI Research Centre for Data Analytics uit Dublin. Het doel van de samenwerking is om in één jaar tijd vooruitgang te boeken in het vinden van structuur bij neurale netwerkmodellen. Op deze manier kunnen neurale netwerkmodellen beter begrepen worden door menselijke gebruikers. Het belang van begrijpbare modellen is groot, wanneer de keuzes van een model levens kunnen veranderen. Denk hierbij aan modellen die juridische of medische beslissingen maken. In dergelijke situaties moeten modellen niet alleen correct zijn, maar ook om de juiste reden correct zijn en uitlegbaar zijn aan een mens.
Aangezien veel AI-toepassingen op dit moment gebaseerd zijn op ‘black box modellen’, is het vaak niet mogelijk om de beslissing van een toepassing verklaarbaar te maken. Kenmerkend voor een ‘black box’ is het boeken van betere resultaten ten koste van de uitlegbaarheid. Dit betekent dat moeilijke taken goed geautomatiseerd kunnen worden, maar dat de manier waarop het model keuzes maakt niet meer goed begrepen worden door menselijke gebruikers. Wetenschappelijke vooruitgang op dit gebied is zowel technisch uitdagend als van maatschappelijk belang, omdat het onbedoeld kan leiden tot discriminatie of een gebrek aan vertrouwen.
Neurale netwerkmodellen zijn typische ‘black boxes’. Neurale netwerken zijn het meest gangbaar om te gebruiken in de huidige Deep Learning, en vormen daarom een probleem. Dit komt omdat het begrijpen van de interne structuur van een getraind neuraal netwerk op dit moment nog niet goed mogelijk is. Een neuraal netwerk bestaat immers uit veel verbindingen, die elk een kleine statistische bijdragen leveren aan de beslissingen die het model maakt. Als het model een fout maakt, dan is het vaak niet goed af te leiden welke verbindingen hiervoor verantwoordelijk zijn. Indien een neuraal netwerkmodel echter visuele objecten en concepten wel op een voor de mens begrijpelijke manier zou ordenen, dan zullen eindgebruikers beter inzicht krijgen of een model ook om de juiste reden correct is. Dit zal uiteindelijk leiden tot meer vertrouwen in de beslissingen van het model.
“Wetenschappelijke vooruitgang op het gebied van neurale netwerken is belangrijk, omdat de keuzes die AI toepassingen maken steeds vaker impact hebben op de maatschappij en de levens van mensen. Wij hebben daarom besloten om samen te werken met het Insight SFI Research Centre for Data Analytics uit Dublin en onze kennis en ervaring te delen,” aldus Maarten Stol, Chief Scientist bij BrainCreators. “Op deze manier willen wij in 2022 samen met de onderzoekers van het Insight SFI Research Centre for Data Analytics toewerken naar een wetenschappelijke publicatie die een bijdrage levert aan een betere toepassing van neurale netwerken. Het doel is om deze bevindingen vervolgens ook te gebruiken voor onze intelligente digitale inspecteurs.”
“Dankzij de samenwerking met BrainCreators kunnen wij ons onderzoek beter afstemmen op de praktijk. Al onze interacties en wetenschappelijke discussies met BrainCreators zijn dan ook erg productief omdat ze vaak meteen met relevante feedback komen,” aldus Vitor Horta, PhD Student bij Insight SFI Research Centre for Data Analytics. “Samenwerkingen zoals die met BrainCreators zijn waardevol en komen niet vaak voor. Echter is deze samenwerking essentieel om onze methoden af te stemmen op de praktische behoeften uit de praktijk. Op deze manier kunnen we onze resultaten overbrengen naar toepassingen uit de echte wereld.”
