Selectie door algoritmes kan wel representatief

Dat stelt het Centraal Planbureau (CPB) in het onderzoek Rechtvaardige Algoritmen. De onderzoekers waarschuwen ook: algoritmes zijn mensenwerk en kunnen daardoor nooit helemaal objectief zijn.

De studie komt uit op een moment dat algoritmes volop in discussie zijn. In de strijd tegen fraude met de basisbeurs mag studie-financierder Duo voorlopig geen algoritme gebruiken, zo heeft Onderwijs-minister Robbert Dijkgraaf onlangs bepaald. Hij wil eerst uitzoeken of dat algoritme niet discrimineert. In 97 procent van de zaken die worden gevoerd naar aanleiding van fraudeonderzoek bleek het om jongeren met een migratieachtergrond te gaan.

Het CPB ziet het gebruik van selectie-algoritmes toenemen, bijvoorbeeld bij het werven van nieuwe medewerkers. Het voordeel is dat een algoritme zich volledig richt op het resultaat en enkel beslist op basis van gegevens. Maar het kan ook leiden tot ongelijke kansen doordat bepaalde groepen vaker niet en anderen weer frequenter worden geselecteerd. Onder meer het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) en het Toetsingskader Algoritmes, proberen dit te ondervangen met procedures en het bij twijfel weglaten van bepaalde gegevens.

Het weglaten van bepaalde informatie lijkt een voor de hand liggende oplossing, zo stellen de onderzoekers, maar in de praktijk heeft het niet altijd het gewenste effect. Volgens het CPB blijkt een representatieve selectie mogelijk door daarop te sturen, namelijk door aan te geven welk aandeel een bepaalde groep krijgt.

In het onderzoek is gekeken naar de toelating tot de studie geneeskunde. Een data-gedreven model is effectiever dan een loting: het aantal studenten dat binnen zes jaar afstudeert, ligt op deze manier tien procent hoger dan bij loting. Dat is een verschil van driehonderd extra basisartsen per jaar. De onderzoekers gebruikten hiervoor een methode waarbij, om ondervertegenwoordiging van bijvoorbeeld studenten met een migratieachtergrond te voorkomen, hun aandeel in de selectie wordt bijgestuurd.

Algoritmes zijn wel degelijk te gebruiken voor representatieve selectie, aldus het onderzoek. Dat vraagt om keuzes. Zorg je dat er aandacht is voor de achtergrond van iemand of kijk je naar gender? En wat is de gewenste mate van representativiteit? Ook moet er overeenstemming zijn over welke uitkomst het meest relevant is. Is het belangrijk dat iemand binnen zes jaar afstudeert, of juist dat iemand als arts gaat werken?

Die keuzes blijven mensenwerk want er bestaan geen objectief juiste antwoorden. Bij het opzetten van het selectie-algoritme moet daarover overeenstemming komen. Pas dan kan de effectiviteit van een selectie-algoritme worden gecombineerd met representativiteit van de selectie.

Het CPB hoopt dat de uitkomsten van het onderzoek onderdeel worden van het huidige instrumentarium om algoritmes te reguleren.