College Rechten van Mens waarschuwt voor ‘onderwijsdiscriminatie’ door ai

Onderwijsinstellingen moeten kritischer kijken naar de inzet van ai en de gevolgen van die systemen voor discriminatie en uitsluiting van leerlingen en studenten. Dat concludeert het College voor de Rechten van de Mens na onderzoek. Het ministerie van Onderwijs is aan zet om scholen te begeleiden bij de inzet van ai die leerlingen en studenten niet schaadt.

Dat staat in het onderzoeksrapport Algoritmen in het Onderwijs dat verscheen in opdracht van het College voor de Rechten van de Mens. Het verkennende onderzoek laat zien dat zowel in het funderend als het hoger onderwijs allerlei algoritmische toepassingen worden ingezet. ‘Veertig tot zestig procent van de basisscholen gebruikt adaptieve leersystemen, waarbij het systeem oefeningen, bijvoorbeeld bij taal en rekenen, automatisch aanpast op basis van het gedrag van de leerling’, schrijft het college in een persbericht.

In het hoger onderwijs zetten onderwijsinstellingen software in die een automatische score geeft aan hoe diepgaand de aantekeningen van studenten zijn. Ook gebruiken veel onderwijsinstellingen algoritmes om data over leerlingen automatisch te analyseren om te voorspellen of een leerling risico loopt uit te vallen of extra ondersteuning nodig heeft. Daarnaast wordt ai ingezet om fraude op te sporen (bijvoorbeeld of iemand ChatGPT heeft gebruikt) en om te bepalen welke leerling naar welke onderwijsinstelling gaat, concluderen de onderzoekers.

Discriminatie en uitsluiting

Volgens de onderzoekers kan het zijn dat een systeem moeite heeft om het niveau van een kind goed in te schatten. Bijvoorbeeld omdat de leerling op een andere manier leert, zoals kinderen met ADHD, dyslexie of autisme, of leerlingen die andere woorden gebruiken dan de groep leerlingen waarop het systeem getraind is. ‘Of een systeem geeft een kind het label ‘zwak’ en houdt dat label aan, ook al is het kind inmiddels beter gaan leren. Hierbij kan ook een zorg zijn dat leerlingvolgsystemen veel data over kinderen verzamelen, waardoor mogelijk hun recht op privacy en autonomie wordt geraakt’, meldt het college. Ook ziit de toezichthouder door ai en technologie een scheefgroei ontstaan. ‘Niet elke leerling heeft evenveel toegang tot technologie. Sommigen kunnen zich wel goede apparaten, een snelle internetverbinding, en dure software veroorloven, anderen niet. Ook tussen scholen zijn de verschillen groot.’ 

Ze wijst erop dat er vaak beperkt informatie beschikbaar is over hoe een systeem werkt. ‘Een groot deel van het aanbod komt vanuit grote technologiebedrijven, zoals Apple, Google, en Microsoft. De invloed van deze bedrijven kan sturend zijn en kan scholen van hun producten afhankelijk maken, terwijl scholen nu juist vrije keuze moeten hebben om al dan niet digitale middelen te kiezen die passen bij hun visie op goed onderwijs.’ Het college stelt verder dat het door personeelstekort en een uitgebreid takenpakket voor docenten en schoolleiders ‘moeilijk is’ om kritisch te kijken naar de middelen die ze gebruiken. ‘Mensen hebben nu eenmaal de neiging te geloven wat een computer zegt.’

Te hulp

Volgens het college moet het ministerie van Onderwijs, Cultuur en Wetenschap scholen te hulp schieten door onderzoek naar de effecten van digitale systemen te stimuleren en voorlichting te geven over de risico’s aan schoolbesturen, docenten, ouders en leerlingen.

‘Het ministerie kan ook, net als zij op het gebied van privacy heeft gedaan, met samenwerkingsverbanden, kennisinstituten, en onderwijsinstellingen, een normenkader ontwikkelen dat duidelijkheid schept waar een systeem in ieder geval aan moet voldoen om discriminatie te voorkomen. Scholen kunnen daarnaast elkaar helpen door zich te verenigen en samen deskundigheid op te bouwen en criteria te stellen aan softwareleveranciers.’ Voordat onderwijsinstellingen digitale systemen gaan gebruiken, moeten zij een waardenafweging maken of en wanneer technologie een bijdrage levert aan goed onderwijs. ‘Scholen hebben veel vrijheid in het kiezen van leermiddelen, maar moeten zich altijd houden aan kinderrechten en ervoor zorgen dat zij het discriminatieverbod niet schenden’, aldus het college.

Het onderzoek

Het College voor de Rechten van de Mens heeft de onderzoeksinstituten KBA Nijmegen en ResearchNed onderzoek laten doen naar hoe algoritmes in het onderwijs in Nederland worden ingezet. Zij hebben verkend of hierbij risico’s op discriminatie spelen en waar juist de kansen liggen om discriminatie te voorkomen door algoritmes in te zetten. Het onderzoek bestond uit een schriftelijke uitvraag onder relevante organisaties, een literatuurstudie en gesprekken met experts en stakeholders, waaronder wetenschappers, sectororganisaties, ontwikkelaars van toepassingen, de Inspectie van het Onderwijs, het ministerie van Onderwijs, Cultuur en Wetenschap, en vertegenwoordigers van ouders.