Het gebruik van ai-systemen lokaal in gadgets is een stap dichterbij gekomen. Een nieuw, in Nederland ontwikkeld leeralgoritme dat maar weinig computergeheugen nodig heeft, opent de deur naar ‘portable ai’ in kleine apparaten zoals smartphones, gehoorapparaten, speelgoed en virtual reality-brillen Ook spraakherkenning kan alomtegenwoordig worden.
Onderzoekers van het Centrum Wiskunde & Informatica (CWI) en de TU Eindhoven hebben laten zien dat deze nieuwe leermethode het mogelijk maakt om zogenoemde ‘spiking neurale netwerken’ op grote schaal te trainen. Tot nog toe werkten dit soort leeralgoritmen alleen in kleine neurale netwerken. Maar de CWI-onderzoekers Bojian Yin en Sander Bohté zijn er samen met Federico Corradi (TU Eindhoven, Stichting IMEC) in geslaagd deze beperking op te heffen.
Spiking neurale netwerken zijn een speciaal soort kunstmatige neurale netwerken die qua werking lijken op het menselijk brein. Kunstmatige neurale netwerken vormen de ruggengraat van de huidige ai-revolutie. Maar ze zijn slechts losjes gebaseerd op netwerken van echte, biologische neuronen zoals menselijke hersenen. Het menselijk brein omvat een veel groter netwerk, is veel energie-efficiënter, en kan ultrasnel reageren wanneer het door externe gebeurtenissen wordt geactiveerd. Spiking neurale netwerken zijn in staat om de werking van biologische neuronen beter na te bootsen. Net als hun biologische tegenhanger communiceren deze neurale netwerken door elektrische pulsen uit te wisselen, zonder daarbij een grote hoeveelheid energie te gebruiken.
Chip
Als het lukt om spiking neurale netwerken in een chip te integreren (neuromorfe hardware), zijn ai-programma’s dichter bij de gebruikers te brengen op hun eigen apparaten. Deze lokale oplossingen zijn gunstig voor de privacy, de robuustheid en het reactievermogen van deze programma’s. Toepassingen variëren van spraakherkenning in speelgoed en apparaten, bewaking van de gezondheidszorg en drone-navigatie tot lokale surveillance.
Net als ‘gewone’ kunstmatige neurale netwerken moeten spiking neurale netwerken worden getraind om hun taken goed uit te voeren. De manier waarop dergelijke netwerken communiceren, vormt echter een uitdaging. ‘De algoritmen die hiervoor nodig zijn, vergen veel computergeheugen, waardoor we meestal alleen kleine netwerkmodellen kunnen trainen voor kleinere taken. Dit houdt tot nu toe veel praktische ai-toepassingen tegen,’ zegt Sander Bohté van CWI’s Machine Learning-groep.
Deze algoritmen kunnen het leervermogen van ons brein niet evenaren. Zo leren de hersenen onmiddellijk van nieuwe ervaringen – door verbindingen te veranderen of zelfs door nieuwe verbindingen aan te maken. Ze hebben hiervoor veel minder voorbeelden nodig en werken energie-efficiënter. ‘We wilden iets ontwikkelen dat dichter ligt bij de manier waarop onze hersenen leren,’ zegt Bojian Yin.
Yin legt uit hoe dit werkt en trekt daar bij de vergelijking met een fout tijdens een rijles. ‘Daar leer je meteen van. Je corrigeert je gedrag terwijl je aan het rijden bent, en niet een uur later. Je leert als het ware terwijl je de nieuwe informatie in je opneemt. Wij wilden dat nabootsen door elke neuron van het neurale netwerk een stukje informatie te geven dat voortdurend wordt bijgewerkt. Op die manier leert het netwerk hoe de informatie verandert, en hoeft het niet alle eerdere informatie te onthouden. Dit is het verschil met de huidige netwerken, die met alle voorgaande veranderingen moeten werken. De huidige manier van leren vergt enorme rekenkracht, en dus veel geheugen en energie.’
Het nieuwe leeralgoritme maakt het mogelijk om direct van de data te leren, waardoor veel grotere spiking neurale netwerken mogelijk worden. ‘Voorheen konden we neurale netwerken trainen met maximaal tienduizend neuronen, met het huidige algoritme kan dat vrij eenvoudig bij netwerken met meer dan zes miljoen neuronen,’ zo besluit Bohté.
De resultaten van de studie zijn verschenen in het vakblad Nature Machine Intelligence.
