Bescherming nodig tegen ‘schadelijke’ algoritmen

Het kabinet gaat nader bekijken of er maatregelen nodig zijn voor het tegengaan van eventuele negatieve effecten van algoritmen op consumenten.

Dit blijkt uit de reactie van het kabinet op drie studies die op verzoek van minister Sander Dekker (Rechtsbescherming) en zijn collega’s van Binnenlandse Zaken en Economische Zaken zijn gedaan naar de ongewenste effecten van zelflerende algoritmen. De Kamerleden Joba van den Berg (CDA) en Martin Wörsdörfer (VVD) hebben daar via een motie begin 2019 om gevraagd. Hun vrees is dat beleid en wetgeving onvoldoende zijn toegesneden op de risico’s rondom algoritmen.

De bevindingen wijzen uit dat onvoorziene effecten een drietal grondoorzaken hebben. Deze gelden voor zowel regelgebaseerde als zelflerende algoritmen. 

De eerste oorzaak is een onvolledig of verkeerd begrip van de probleemruimte, de omgeving waarbinnen kunstmatige intelligentie wordt ingezet en waarbinnen het specifieke doelstellingen moet bereiken. Ook komt het voor dat het algoritme niet goed is toegerust op de complexe omgeving waarbinnen het wordt ingezet. Derde veel voorkomende fout is dat het algoritme niet goed wordt ingepast in een bredere (socio-technische) context. De onderzoekers lichten duidelijk toe hoe zelflerende algoritmen de kans vergroten op onvoorziene effecten. Om dit risico te verkleinen moeten de drie eerder genoemde grondoorzaken worden ingeperkt. 

Knelpunten

Het kabinet denkt dat de algemene juridische kaders toekomstbestendig zijn als het gaat om non-discriminatie, gegevensbescherming en rechtsbescherming. Wel zijn er enkele knelpunten. Het begrip ‘geautomatiseerde besluitvorming’ moet verder worden aangescherpt.

Volgens de AVG is dit soort besluitvorming verboden tenzij er sprake is van menselijke tussenkomst. Bij de moderatie van content door online-platformen is het maar de vraag of deze uitzondering wel terecht is, wanneer die tussenkomst bijna niets voorstelt. Volgens het kabinet prevaleert dan het verbod, maar het zou goed zijn als het Europees Comité dat toeziet op de consequente toepassing van de privacywet (AVG) hier meer duidelijkheid over verschaft. De Autoriteit Persoonsgegevens (AP) heeft ai en algoritmen in elk geval als focusgebied voor de komende jaren aangemerkt.  

Etnische afkomst

Een ander knelpunt betreft het testen met bijzondere persoonsgegevens. Zo is volgens de AVG het verwerken van iemands etnische afkomst verboden. Maar volgens het onderzoek dat het kabinet heeft laten doen naar de juridische aspecten van algoritmen die besluiten nemen, moet van dat verband af te wijken zijn. Het verwerken van zulke gegevens zou juist helpen bij het voorkomen van discriminatie in het model van de werkelijkheid dat ligt besloten in een algoritme. Het kabinet bekijkt of hiervoor een wettelijke grondslag kan komen.

Verder blijkt dat door de technologische ontwikkeling onzekerheid ontstaat over de vraag of de AVG op bepaalde gegevenssets van toepassing is.

Een probleem is dat het begrip persoonsgegevens vervaagt. De AVG geldt alleen voor de verwerking van persoonsgegevens. Volgens het onderzoek zullen gegevenssets door de inzet van algoritmische modellen eerder persoons­gegevens bevatten, omdat verbanden in voorheen anonieme gegevenssets kunnen worden gevonden. Er bestaan technische mogelijkheden om persoonsgegevens te anonimiseren, waardoor de AVG niet meer zou gelden. Om hier klaarheid in te brengen, zal het kabinet nader onderzoek laten verrichten.

Bewijslast

Verder wordt bekeken of de richtlijn productaan­spra­kelijkheid aanpassing behoeft met het oog op nieuwe technologie, waaronder het gebruik van software. Juridisch is de producent aansprakelijk voor een gebrekkig product. Bij zelfrijdende auto’s kunnen zelflerende algoritmen het zicht ontnemen op de toedracht van een ongeluk. Onderzoekers hebben de mogelijkheid geopperd om in zo’n geval de bewijslast te verlichten of om te keren.

Het kabinet vindt dat er voldoende rechtsbescherming bestaat tegen grote dataverwerkingsprocessen. Wel bestaan er twijfels over de kennis van advocaten en rechters in bepaalde zaken. Dit geldt met name voor data-analyse en algoritmegebruik. Een probleem is ook dat burgers moeilijk kunnen zien of een big data-analyse onrechtmatig is.