Machine learning-algoritmes kunnen de mens maar moeilijk doorgronden. Zelfs de meest geavanceerde ‘rekenrecepten’ voorspellen iemands levensloop niet beter dan eenvoudige vergelijkingsmodellen.
Tot deze ontnuchterende conclusie komt een omvangrijk internationaal team van wetenschappers na uitgebreid onderzoek van de Princeton University. De resultaten hiervan zijn verschenen in een publicatie van de National Academy of Sciences. Deelnemer dr. Louis Raes, universitair docent Economie aan de Universiteit Tilburg, zet vraagtekens achter het toepassen van statistische leeralgoritmes op maatschappelijk gebied.
160 teams bestaande uit honderden onderzoekers moesten zes levenslopen voorspellen, zoals de kans dat een gezin hun huis zou worden uitgezet en de studieprestaties van een kind. Ze kregen een gemeenschappelijke opdracht, een onderzoeksopzet die populair is in de wereld van machine learning. Alle teams werkten met dezelfde gegevens die sociale wetenschappers vijftien jaar lang hadden verzameld in Amerikaanse achterstandsbuurten. De wetenschappers mochten zelf hun onderzoeksmethode kiezen. Velen gingen het probleem te lijf met geavanceerde methoden voor machine learning.
Niemand bleek echter in staat nauwkeurige voorspellingen te doen over het leven van kansarme kinderen op hun vijftiende levensjaar op basis van gegevens over hun negende jaar. Hoewel de onderzoekers toegang hadden tot duizenden voorspellende variabelen die ruim inzicht gaven in het leven van kwetsbare gezinnen, bakten ze er zeer weinig van. Ondanks de verschillen in aanpak benaderde geen enkel team het werkelijke resultaat.
De meest ingewikkelde modellen vol kunstmatige intelligentie (artificial intelligence, ai) bleken nauwelijks betere resultaten op te leveren dan een uiterst simpel lineair regressiemodel of een logistisch regressiemodel. Die laatste modellen werden slechts gevoed met triviale gegevens als de etnische afkomst van de moeder, huwelijkse staat en scholingsniveau en het kennisniveau van hun kind op 9-jarige leeftijd. Toch was het verschil in resultaat minimaal.
Tijd voor bezinning
Dr. Louis Raes, universitair docent Economie aan de Universiteit Tilburg die aan dit onderzoek meewerkte, vindt het tijd voor bezinning. Hij vraagt zich af of het wel zin heeft om op basis van complexe computermodellen belangrijke beslissingen te nemen. Menselijke gedragingen blijken moeilijk te vatten in computermodellen. Daarom heeft Raes ook gerede twijfels over de juiste werking van systemen waarmee overheden fraude proberen op te sporen. Actueel voorbeeld van zo’n risicomodel is het Systeem Risico Indicatie (Syri) dat overigens op last van de rechter om privacyredenen is gestopt.
In totaal zijn inmiddels ruim 750 onderzoeken gepubliceerd die zijn gebaseerd op data uit het Fragile Families and Child Wellbeing-onderzoeksproject. Desondanks lijkt het vrijwel onmogelijk nauwkeurige voorspellingen te doen op basis van dezelfde data.
Ik faal al jaren in het voorspellen van wat mijn vrouw wil, logica van haar ontgaat me volledig en dus heb ik als oplossing gewoon vragen wat ze wil. Dat niemand in staat bleek te zijn om een nauwkeurige voorspelling te doen over kansarme kinderen is niet zo verrassend. Dat geen enkele onderzoeker rekening hield met de kennis van Freud zegt meer over sommige wetenschap dan de middelen die gebruikt worden hierin.
Een oproep tot bezinning aangaande de voorspellende waarde van algoritmen kan ik alleen maar beamen, zeker in onderzoeken van een (a)sociale wetenschap die nogal vooringenomen blijkt te zijn met de linkse waanideeën over verheffingen en idealen. Dat een regressiemodel een betere voorspelling doet aangaande de appel die van de boom afvalt is niet verrassend. De risico indicatie van 9 jarige jongetjes die op 15 jaar in ‘Opsporing verzocht’ komen kent inderdaad een lineair regressiemodel.
En wederom is er een management-ballon lekgeprikt. “Mijn probleem is zo ingewikkeld dat kan niet met een eenvoudig modelletje worden voorspeld. Ik zal ons bedrijf naar ongekende hoogten brengen door persoonlijk opdracht te geven voor het ontwikkelen van een geavanceerd model waardoor we … bla bla bla… ego-trip ego-trip ego-trip. En luister niet naar de mensen die dit weggegooid geld vinden, dit verdienen we dubbel en dwars terug. Dat garandeer ik jullie!”
Diezelfde manager zal na het lezen van dit artikel op zoek gaan naar de man of vrouw (enkel- of meervoud) om de schuld naar af te schuiven.
Is elke manager niet een beetje een Trumpje?
p.s. niet alle mensen aan het hoofd van een bedrijf of afdeling is een manager, er zijn ook veel echte leiders tussen.
Kunt u een link delen naar het originele onderzoek?
@cpt
ja ik herken wat je schrijft en bevestig dat, echter, twee kritische weder vragen;
1) waarom blijven we er in stinken?
2) hoe komt het dat dit soort mensen dit blijven kunnen doen en niet uitgelachen en weg gestuurd worden zodra zo een geintje weer begint?
@Peter – ja, link is toegevoegd.