Computers en andere slimme systemen maken steeds vaker geautomatiseerde beslissingen over mensen. Dit kan leiden tot nieuwe vormen van discriminatie, waarbij bevolkingsgroepen benadeeld worden. Het Nederlandse recht biedt hiertegen onvoldoende bescherming.
Zuiderveen Borgesius legt uit: ‘Of je nou een nieuwe autoverzekering afsluit, een hypotheek aanvraagt, op Schiphol langs security moet of een vakantie boekt: je hebt op dagelijkse basis te maken met digitale systemen die beslissingen over je maken, vaak zonder dat je er invloed op hebt óf het überhaupt door hebt. Die beslissingen kunnen grote invloed op je leven hebben: je kunt uit de rij worden gehaald op Schiphol, of enkele tientjes meer per maand betalen voor je autoverzekering.’
Het Nederlands recht is nog niet klaar voor de keuzes die soms door deze algoritmes gemaakt worden, waarschuwt de Nijmeegse hoogleraar. ‘We hebben nu duidelijke regels die mensen beschermen tegen discriminatie op het gebied van huidskleur, geslacht of vergelijkbare kenmerken. Die normen gelden ook voor discriminatie door computers. Maar zulke digitale discriminatie is moeilijk te ontdekken.’
Schade claimen
Volgens Zuiderveen Borgesius is een tweede categorie problemen nog lastiger. ‘Digitale differentiatie kan oneerlijk zijn, terwijl die niet specifiek mensen met een bepaalde huidskleur of vergelijkbaar kenmerk treft. Verzekeraars kunnen bijvoorbeeld algoritmes gebruiken om te voorspellen welke klanten vaker schade claimen. De computer kijkt dan aan de hand van data welke correlaties helpen om dat te voorspellen.’
Hij vervolgt: ‘Zo zijn er verzekeraars die hogere premies vragen aan mensen die op een huisnummer met een letter wonen, zoals 1A of 90L. Dat kan oneerlijk zijn. Ook kan digitale differentiatie arme mensen treffen. Denk aan een energiemaatschappij die hogere voorschotten vraagt aan bewoners van een postcode waar vaker betalingsachterstanden zijn. Met zo’n aanpak raak je vooral mensen in arme wijken. En als mensen altijd netjes hun rekeningen betalen, is het zuur voor ze als ze als wanbetaler worden behandeld, alleen vanwege hun postcode.’
In zijn oratie gaat Zuiderveen Borgesius dieper in op de juridische haken en ogen van dergelijke digitale differentiatie. Dat zijn er nogal wat: discriminatie van bijvoorbeeld armlastige mensen of mensen met een bepaald huisnummer is niet verboden. Ook is het soms lastig om te achterhalen op basis van welke data een computer keuzes maakt, en hoe we dat inzichtelijk maken.
‘Het huidige recht kan mensen ten dele beschermen tegen oneerlijke digitale differentiatie. Zo staan er nuttige regels in het algemene non-discriminatierecht, en in de Algemene Verordening Gegevensbescherming (AVG). We moeten beginnen met die regels beter handhaven. Maar de huidige regels laten ook gaten vallen. Er zijn aanvullende regels nodig.’
Maar voor sommige digitale differentiatie weten we nog niet wat de normen zouden moeten zijn. Zou discriminatie van arme mensen verboden moeten worden? En in welke gevallen dan? ‘Om dat soort vragen te beantwoorden, is er meer interdisciplinaire samenwerking nodig door computerwetenschappers, juristen, filosofen en onderzoekers uit andere disciplines,’ aldus de hoogleraar die sinds 2019 bij de Radboud Universiteit werkt. Daar doceert hij rechten aan informaticastudenten.
