Deze opinie is van een externe deskundige. De inhoud vertegenwoordigt dus niet noodzakelijk het gedachtegoed van de redactie.

Levenslang leren vs catastrofaal vergeten

Computable Expert

ir. Hans Timmerman
CDO, Digicorp Labs. Expert van Computable voor de topics Digital Transformation en Datamanagement.

Of een computer ooit voor een levend wezen kan doorgaan, is één van de belangrijkste uitdagingen op het gebied van kunstmatige intelligentie. Alan Turing creëerde wat nu de Turing-test wordt genoemd, bedoeld om erachter te komen of een machine intelligent gedrag zou kunnen vertonen dat gelijk is aan of niet te onderscheiden is van dat van een mens.

Machines worstelen echter nog steeds met een van de fundamentele vaardigheden die een tweede natuur is voor mensen en andere levensvormen: levenslang leren. Dat wil zeggen, leren en ons aanpassen terwijl we een taak uitvoeren zonder eerdere taken te vergeten, of intuïtief kennis over te dragen die van de ene taak is verzameld naar een ander gebied. Vaak nog moeten ze eerst ‘catastrofaal vergeten’ voordat ze iets nieuws kunnen leren. 

Neurale netwerken

"Als mens en dier hebben we een geheugen waar we nog lang niet alles van weten"

Als mens en dier hebben we een geheugen waar we nog lang niet alles van weten. Het is ons vermogen van opslag, het vasthouden of bewaren en het terugzoeken van informatie. Daarnaast is ons geheugen essentieel om te kunnen leren en nieuwe kennis en vaardigheden in onze hersenen op te slaan. Onze hersenen doen dat ook nog eens op een zeer energie-efficiënte manier, waarvan we graag meer zouden willen weten. Bij de ontwikkeling van kunstmatige intelligentie zijn diepneurale netwerken (dnn’s) een veelbelovende  ondersteuning. Deze wat betreft structuur en biologie op het menselijke geheugen geïnspireerde opslagtechniek staat zeer in de belangstelling. 

Onderzoekers aan de Universiteit van Graz publiceerden in Nature Machine Intelligence over een studie die laat zien dat neuromorfe computerhardware (zoals dnn’s) vier tot zestien keer efficiënter kunnen zijn dan conventionele computerhardware. In hun tests evalueerden onderzoeker Wolfgang Maass en zijn collega’s de energie-efficiëntie van een groot neuraal netwerk dat draait op een neuromorfe computerchip gemaakt door Intel. Deze is speciaal ontworpen om reeksen van grote letters of cijfers, zoals zinnen, te verwerken. Dnn’s zijn van cruciaal belang om de cognitieve functie op een hoger niveau te brengen, zoals het vinden van relaties tussen zinnen in een verhaal en het beantwoorden van vragen over de inhoud ervan. De uitdaging van het semantische internet web 3.0.

Sprinten en rusten

Het ontwikkelen van hersen-geïnspireerde neurale architecturen is naast genoemde energie-efficiënte ook interessant om sneller informatie te vergelijken. Onze hersenen gebruiken hiervoor zeer efficiënte ‘skiping-neuronen’ die soms hyperactief kunnen zijn, maar ook op zijn tijd de nodige rust moeten krijgen. Deze balans tussen variërende hyperactiviteit en ‘luiheid’ maakt het geheugen niet alleen razendsnel maar ook energie-efficiënt. In huidige kunstmatige dnn’s worden neuronen tienduizenden keren per seconde geactiveerd, terwijl in ons menselijk geheugen een gemiddeld neuron maar enkele keren per seconde een signaal afgeeft. 

In hun experimenten toonden Maass en zijn collega’s aan dat de neiging van veel biologische neuronen om te rusten na spiking, is te repliceren in neuromorfe hardware en te gebruiken als een 'computationele truc' om taken voor het verwerken van tijdreeksen efficiënter op te lossen. Bij deze taken moet nieuwe informatie worden gecombineerd met informatie die in het recente verleden is verzameld, bijvoorbeeld zinnen uit een verhaal dat het netwerk vooraf heeft verwerkt.

Lange weg

"Ons brein kan leren door slechts één keer een scene te zien, terwijl de huidige dnn’s nog een buitensporige training moeten krijgen met ontelbare voorbeelden"

Door deze biologische tactiek in het kunstmatige netwerk te reconstrueren, werd zoals eerder gezegd in hetzelfde dnn vier tot zestien keer minder energie verbruikt dan in conventionele data-opslagchips. De uitdaging is om goed te weten welke neuronen het meest vermoeid zijn en rust nodig hebben. Door bij te houden welke informatie recentelijk is verwerkt en daar de verantwoordelijke neuronen voor te kennen, kan men die noodzakelijke behoefte aan ‘luiheid’ herkennen en gebruiken bij het aansturen van de neuronen.  

Er is nog veel te leren over de efficiëntie van zowel informatieopslag als -verwerking door onze hersenen. Ons brein kan leren door slechts één keer een scene te zien, terwijl de huidige dnn’s nog een buitensporige training moeten krijgen met ontelbare voorbeelden. Dnn’s staan nog maar aan het begin wat betreft ‘kunstmatig kunnen leren’. Onze hersenen gebruiken om snel te leren verschillende leermethoden parallel in verschillende delen van onze hersenen. Hierdoor is mogelijk eerder beslissingen te nemen op basis van die parallelle informatie die we krijgen aangeboden. De combinatie van die leermethoden maakt het mogelijk ook individuele ervaringen te genereren om ook later betere beslissingen te kunnen nemen.

Levenslang leren

Levenslang leren is een verzameling biologisch geïnspireerde vaardigheden die we als vanzelfsprekend beschouwen, zoals het vermogen om nieuwe vaardigheden te verwerven zonder onze oude in gevaar te brengen, het aanpassen aan veranderingen en het toepassen van eerder geleerde kennis op nieuwe taken. De manier waarop wij als mens en dier leren, is door ervaring, imitatie en zelfonderzoek. Als je een nieuwe taak leert, betekent dat niet dat je eerdere taken vergeet. Mensen leren tijdens het werk. Als we taak uitvoeren, zijn we automatisch aan het leren. Elke fout is een leermoment en weten we hoe we het beter moeten doen. Machines kunnen dat nog niet goed.

De behoefte aan snellere en betere kunstmatige intelligentie is nodig om allerhande complexe modellen te kunnen bestuderen. Bijvoorbeeld ons milieu en klimaat zijn zo complex, dat we die met gewone rekenmodellen beslist niet in het geheel kunnen doorrekenen. Maar ook aerodynamische modellen voor luchtstromen zijn nog veel te complex om goed door te rekenen, zelfs voor de huidige supercomputers. Dnn's zijn momenteel onze fysieke weg om sneller en slimmer te kunnen leren en simulaties te kunnen doorrekenen. 

Catastrofaal vergeten

"XX"

Levenslang leren is informatie te kunnen verwerken die een relatie heeft met eerder opgebouwde kennis. Een bio-geïnspireerde terugkoppeling die – zoals we in proeven met robots al eerder hebben gedaan – om met letterlijk vallen en opstaan zelf te leren lopen. Van enorm belang voor de volgende generatie van zelfrijdende auto’s, autonome robots en drones en intelligente prothesen, exoskeletten en draagbare apparaten. Wanneer je een machine iets nieuws wil leren, moet je meestal eerst het geheugen wissen en vergeet hij hoe hij de voorafgaand dingen deed. Dit is een probleem dat bekend staat als ‘catastrofaal vergeten‘, een van de belangrijkste tekortkomingen van de huidige AI-systemen

Als mens kun je leren pingpongen, welke vaardigheid je daarna ook gebruikt om te leren badmintonnen of tennissen. Machines zijn daar (nog) niet toe in staat. Hoe ontwikkel je het vermogen om kennis over te dragen en opnieuw te gebruiken en om je aan te passen aan nieuwe omgevingen. Of begrijpen wanneer tijdens de training van de ene taak naar de andere moet worden overgeschakeld zonder dat dit wordt verteld. Dit noemt men neuromodulatie: het systeem in de hersenen van levende wezens dat helpt om het leren te verbeteren, het probleem van catastrofaal vergeten te overwinnen en zich aan te passen aan onzekere omgevingen en veranderingen in context te begrijpen. 

Onze hersenen hebben hiervoor astrocyten – andere hersencellen die interacteren met neuronen om het leren te ondersteunen – en de neurale pieken en bursts die informatie in gecodeerde vorm overbrengen. Levenslang leren is vooralsnog een biologisch systeem, waar AI-onderzoekers jaloers naar kijken en proberen te begrijpen. Of we daar snel toe in staat zijn, is de vraag. De natuur had er uiteindelijk miljoenen jaren van evolutie voor nodig. 

x

Om te kunnen beoordelen moet u ingelogd zijn:

Dit artikel delen:

Reacties

Het wordt wel een beetje een forum voor grijze mannen hier, levenslang waarnemen is ook een vorm van leren. Wat betreft de Turing-test kun je een computer vaak vrij makkelijk foppen middels de 'beeldtaal' welke inderdaad grotendeels gebasseerd is op het geheugen als ik kijk naar uitdrukking WC-eend. Het gaat hier niet zo zeer om ons vermogen tot opslag maar meer om de referentie, de semantische uitdaging die tot een levenslang trainen leidt doordat taal uiteindelijk een 'levend ding' is. Addiscunt iuvenes, quod cecinere senes.

Euh... hoe dragen we eigenlijk de kennis over?

Of nog beter, hoe leggen we ervaringen vast zodat we de geschiedenis niet blijven herhalen.

Prachtig en goed te begrijpen artikel waarvan ik weer veel geleerd heb....

Alweer zo’n boeiende uiteenzetting van het doodlopende onderzoek naar kunstmatige intelligentie.

De auteur maakt allereerst geen onderscheid tussen een biologische evolutie die al het leven op deze aarde heeft voortgebracht en miljoenen jaren in beslag heeft genomen, en een culturele evolutie, die zich in enkele duizenden jaren – ik zeg: 12.000 jaar – alleen in de mens heeft doorgezet en heeft geleid tot het ontstaan van het bewustzijn.

In de loop van de culturele evolutie is dankzij taal (in combinatie met het gebruik van werktuigen en techniek/technologie en het bouwen van woningen en woonplaatsen) in de menselijke soort een psyche ontstaan, waarvan de architectuur nog steeds om een verdere opheldering vraagt (en dus ook relevant is voor het onderzoek naar kunstmatige intelligentie).

Interessant is het gemaakte onderscheid tussen hyperactiviteit en luiheid; het hollen of stilstaan.
Het lijkt mij vooral van toepassing op mensen die snel en opportunistisch willen inspelen op verandering (kicks?), in plaats van het realiseren van unieke dienstverlening, die aan werkelijke behoeften beantwoordt.

Tot slot komen de meeste mensen nog wel tot wat meer zingeving dan het enkel uitvoeren van taken.

Ja, ja het gaat allemaal om de taal maar hoe maken we deze ‘overdrachtelijk’ zodat we een soort van universele uitwisseling van kennis hebben? Addiscunt iuvenes, quod cecinere senes is er binnen een culturele evolutie zoiets als geschiedenis waardoor westerse filosofen de kleuters van hun tijd zijn.

Verder weet iedereen dat het antwoord op de zingeving van het leven 42 is.

Hoewel de mysterieuze ‘XX’ als gevolg van een programmeerfout natuurlijk ook nog als antwoord mogelijk is, geloof in kunstmatige intelligentie gaat tenslotte vooral om de mystiek van de modellen die moeten overtuigen. Want je leert alleen van fouten (hoe heette foute filosoof ook alweer?) als je erkent dat je iets verkeerd hebt gedaan.

Oudlid, dit is weer zo’n opmerking van je waar ik heel veel A4-tjes tegenaan kan gooien. Maar dat doe ik niet en heb 2 fragmenten voor je uit de befaamde ‘Brief over het humanisme’ van Heidegger (1949).

“De zegswijze van het huis van het zijn is geen overdracht van het beeld van het ‘huis’ op het zijn; maar vanuit het zakelijk treffend gedachte wezen van het zijn zullen we op een dag juist beter kunnen denken wat ‘huis’ en ‘wonen’ zijn. “
“Daarom is de taal tegelijk het huis van het zijn en de behuizing van het mensenwezen. “

En het volgende fragment is ook veelzeggend:
“Omdat Marx met de ervaring van de vervreemding doordringt tot een wezenlijke dimensie van de geschiedenis, overtreft de marxistische visie op de geschiedenis de rest van de geschiedschrijving. Omdat echter nog Husserl, noch Sartre, voorzover ik nu kan beoordelen, juist het wezenlijke van het historische in het zijn onderkent, reikt noch de fenomenologie, noch het existentialisme tot in de dimensie waarbinnen pas een productief gesprek met het marxisme mogelijk wordt. “

Het eerste fragment kom ik tegen in noot 108 bij paragraaf 11.4 “Implicaties voor de metafoor” onder paragraaf 11 “Nijhoff: het lichaam van het woord” in de publicatie “Gelatenheid in de kunst. Nijhoff, Braque, Kawabata” van Gerard Visser (2018).

Wat betreft het derde fragment is de existentiefilosofie (en dus niet het existentialisme) wel terecht een verbeterd marxisme genoemd, bijvoorbeeld door prof. R.C. Kwant (https://nl.wikipedia.org/wiki/Kees_Kwant).

Er zitten veel christelijke elementen in het denken van Heidegger; zo heeft de notie ‘het huis van het zijn” mijns inziens veel weg van: “Het huis van mijn vader heeft vele woningen (Joh.14:2).

Ik heb nogal veel aanwijzingen dat Heidegger nooit fout is geweest in zijn poging om de leider te leiden (“den Führer führen”). Dat het onbegonnen werk is om een – letterlijk - geesteszieke dictator bij te sturen leert ook de huidige tijd.

"2 fragmenten voor je uit de befaamde ‘Brief over het humanisme’ van Heidegger (1949)"

precies genoeg om het weekend mee te verpesten ;-)

Graag in gewoon Nederlands want Duitsers spreken een raar dialect, de metafoor gaat tenslotte om de beeldspraak welke ontstaat uit een mentale (cognitieve) behoefte om een nieuw inzicht of gegeven te benoemen vanuit een overeenkomst met het reeds bekende volgens Wikipedia. Zeg maar zoiets als twee lettergrepen en het klink als prul als je naar de voetnoten in een stapel A4's gaat wijzen want als niemand de handleiding leest dan zullen ze Heidegger en Marx zeker niet lezen, doe mij maar de Donald Duck;-)

A picture is worth a thousand words.

Wat betreft het gevoel dat een schilder niet kan schilderen....

Oudlid, zou techniekfilosoof Peter-Paul Verbeek de enige hoogleraar aan een technische universiteit zijn die zich heeft verdiept in het denken van MH?

https://www.futurelearn.com/info/courses/philosophy-of-technology/0/steps/26314

De passage vanaf “A more embarrassing answer..” zal jou zeker aanspreken (want wil je graag horen), maar kan wat mij betreft als niet terzake doend worden geschrapt.

Iets moeilijker dan de Donald Duck is dit verhelderende artikel over metaforen:
https://www.sbiformaat.nl/blog/taal-bepaalt-ons-denken-en-doen-en-taal-kan-dus-ook-bijdragen-aan-de-burnout-epidemie/

Naast kennisoverdracht is er ook zoiets als waardenoverdracht, en dus mijn vraag aan jou of jij je kinderen hebt gestimuleerd om op een sport te gaan. Waarbij ik natuurlijk ook doel op de bekende film: https://nl.wikipedia.org/wiki/Billy_Elliot_(film)

Nu in eigen woorden Jack want ik zie de mens niet als product maar het denken van de mens als het gaat om de overdracht van een idee. Het 'zijn' in de taal is hierin interessant als ik mijn criticasters lees want non-verbale uitdrukking middels een expressie gaat om een gevoel. Wat betreft emoticons ontstaat er een nieuwe beeldtaal door technology, de moderne hiërogliefen maken duidelijk dat de mens vindrijk is in de communicatie want er is meer dan het gesproken en geschreven woord.

Levenslang waarnemen is ook een vorm van leren als je meer leest dan Heidegger want naar mijn eigen woorden vertaal ik Billy Elliot naar de liberale waarde dat je mag zijn wie je bent om te groeien in je talent. En “A more embarrassing answer..” in het vraagstuk van 'addiscunt iuvenes, quod cecinere senes' gaat vooral om het durven afwijken van de norm. Kleuren buiten de lijntjes stimuleer ik niet de beoefening van een sport maar het uitslaan van de vleugels als het om intrinsieke motivatie gaat om elke dag om 05:00 op te staan.

Waar een wil is, is een weg geldt ook voor de communicatie als we overwegen dat die gekke dictator heel goed het orgel van gevoel wist te bespelen. Iets met de superioriteit van een ras was uiteindelijk ook de foute filosoof niet vreemd want het 'zijn' aangaande de onderwerping is het opgeven van de wil. Want in de filosofie wordt in het algemeen aangenomen dat alleen een intelligent persoon met een bewustzijn van zichzelf, een zelfbewustzijn, iets kan willen.

Uw reactie

LET OP: U bent niet ingelogd. U kunt als gast reageren maar dan wordt uw reactie pas zichtbaar na goedkeuring door de redactie. Om uw reactie direct geplaatst te krijgen moet u eerst rechtsboven inloggen of u registreren

Vul uw naam in
Vult u een geldig e-mailadres in
Vult u een reactie in
Jaarbeurs b.v. gaat zorgvuldig en veilig om met uw persoonsgegevens. Meer informatie over hoe we omgaan met je data lees je in het privacybeleid
Als u een reactie wilt plaatsen moet u akkoord gaan met de voorwaarden
Nieuwsbrief

Wil je dagelijks op de hoogte gehouden worden van het laatste ict-nieuws, trends en ontwikkelingen? Abonneer je dan op onze gratis nieuwsbrief.

Vul een geldig e-mailadres in
Vacatures Datamanagement

Stuur dit artikel door

Uw naam ontbreekt
Uw e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×
article 2022-07-13T14:13:00.000Z Hans Timmerman
Wilt u dagelijks op de hoogte worden gehouden van het laatste ict-nieuws, achtergronden en opinie?
Abonneer uzelf op onze gratis nieuwsbrief.