Het Centraal Bureau voor de Statistiek (CBS) heeft voor de gemeente Amsterdam een methode ontwikkeld om oneerlijke algoritmes tegen te gaan in de praktijk. Deze zogeheten FairTrade-methode spoort op wanneer etniciteit of andere gevoelige persoonsgegevens invloed hebben bij de besluitvorming van algoritmes. Bijvoorbeeld bij Nederlanders die, al dan niet onterecht, bijstand ontvangen. Dat meldt het CBS.
De methode is ontwikkeld door student Rik Helwegen van de Universiteit van Amsterdam (UvA). Hij ontwikkelde de methode in het kader van zijn masteropleiding Kunstmatige Intelligentie.
‘Steeds meer gemeenten experimenteren met een data gedreven-aanpak en zetten hiervoor algoritmen in die gebruik maken van machine learning. Wanneer etniciteit of andere gevoelige achtergrondkenmerken van personen de beslissingen van gemeenten beïnvloeden, kan dat ethische of wettelijke bezwaren opleveren’, legt Helwegen uit aan het CBS.
Daarom ontwikkelde hij een praktische methode waarbij algoritmen ‘een eerlijk antwoord op complexe vragen geven’. Hierbij maakt hij gebruik van de causaliteitstheorie. ‘De methode corrigeert aan de hand van schattingen causale verbanden, die voortkomen uit de combinatie van data en domeinkennis. Het uitgangspunt is dat de uitkomst van het model hetzelfde moet zijn als de waarde van een gevoelig persoonskenmerk wordt omgewisseld, bijvoorbeeld een niet-westerse achtergrond voor een westerse achtergrond.’
Bijstand
Het FairTrade-methode is in een experimentele setting ontwikkeld en vervolgens getest in samenwerking met de gemeente Amsterdam. Het model is ingezet in het sociaal domein bij zo’n 11.000 profielen van Nederlanders die bijstand ontvangen of in het verleden veroordeeld zijn omdat zij onterecht een uitkering kregen. Voor het experiment kreeg Helwegen toegang tot het Stelsel van Sociale Bestanden van het CBS. De overheidsinstelling benadrukt dat hierbij voldaan werd aan de gestelde privacy-voorwaarden.
De gemeente Amsterdam vertelt dat er drie redenen zijn om het CBS in te schakelen voor dit project. Allereerst heeft het CBS de methodologische kennis en ervaring. Daarnaast beschikt het CBS over een zwaar beveiligde werkomgeving en geanonimiseerde data. ‘Verder willen we dat hetgeen wij open source maken ook toegepast kan worden in andere gemeenten. Het CBS kan daaraan een bijdrage leveren’, licht de gemeente toe.
Rik Helwegen verdedigde zijn onderzoek ‘Fairness in Machine Learning models using Causality’ op 2 augustus 2019 aan de Universiteit van Amsterdam (UvA). Hij deed dit onderzoek in het kader van zijn masteropleiding Kunstmatige Intelligentie.
Interessante Case denk ik.
Wat is fairness. Stel dat vrouwen tussen de 20 en 25 bepaalde dingen significant meer doen dan andere leeftijden dan mag je daar op selecteren.
Stel dat [bepaalde afkomst] tussen de 20 en 25 ze bepaalde dingen significant meer doen dan andere leeftijden dan mag je daar niet op selecteren?
“Het uitgangspunt is dat de uitkomst van het model hetzelfde moet zijn als de waarde van een gevoelig persoonskenmerk wordt omgewisseld, bijvoorbeeld een niet-westerse achtergrond voor een westerse achtergrond.”
Gegeven een algoritme dat is bedoeld en getraind op een domein dat bestaat uit responses van mensen met een overwegend westerse achtergrond (stel 90% westers). Dan moet zo’n algoritme dus worden herzien middels een domein waarin westers/niet westerse respondenten gelijk zijn (50%/50%), ook als dat niet de werkelijkheid reflecteert.
Wat is de voorspellende waarde van een algoritme getraind op een domein dat niet de werkelijkheid reflecteert?