Ministeries hebben bij de inzet van algoritmen te weinig aandacht voor ethische aspecten zoals profilering. In de praktijk ontbreekt het vaak aan maatregelen om vooroordelen te beperken. Het risico van discriminatie ligt daarom op de loer.
Dit is de voornaamste conclusie die de Algemene Rekenkamer trekt in het rapport ‘Aandacht voor algoritmes’. In het onderzoek worden de kansen, bedreigingen en mythes over algoritmen belicht. Een betere kwaliteitscontrole is nodig. Hanny Kemna, it-auditor en lid van dit toezichthoudend orgaan, constateert dat ambtenaren zich vaak achter computermodellen verschuilen. Ze moeten er beter op letten dat algoritmen niet discrimineren.
Kemna gaat niet specifiek in op de Toeslagenaffaire die leidde tot de val van het kabinet. Wel zegt ze dat bij gebruik van algoritmen een meer kritische blik past op wat daar uitkomt. Dit geldt zeker als die algoritmen tot besluiten leiden die veel impact op burgers en bedrijven hebben. Algoritmes zijn sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen.
Anti-fraudesysteem
Voorbeeld daarvan is Syri (Systeem Risico Indicatie), een systeem dat de overheid gebruikte om fraude op te sporen met algoritmes. Een jaar geleden werd op last van de Haagse rechtbank de stekker uit dit anti-fraudesysteem gehaald vanwege een te grote inbreuk op het leven van burgers.
Afgelopen zomer oordeelde de Autoriteit Persoonsgegevens (AP) dat de werkwijze van de Belastingdienst tussen januari 2014 en mei 2018 op bepaalde onderdelen discriminerend en in strijd met de wet was. Het ging daarbij om de verwerking van data door de Afdeling Toeslagen. Vorige week vrijdag bleek na vragen van Computable dat de AP door personeelsgebrek nog geen boete of sanctie heeft opgelegd, terwijl de deadline al lang is verlopen.
Ook in de Tweede Kamer leven zorgen over discriminatie en vooringenomenheid die bij de inzet van algoritmes op de loer zouden liggen. Die ongerustheid werd afgelopen maandag extra aangewakkerd door Aleid Wolfsen. De AP-voorzitter waarschuwde tijdens een gesprek met Kamerleden herhaaldelijk voor discriminerende algoritmes. Volgens hem biedt de overheid haar burgers op dit punt onvoldoende rechtsbescherming. Hij sprak van een groot gat door het massale gebruik van algoritmes.
Rekenregels
De Rekenkamer constateert dat de rijksoverheid inderdaad veel algoritmes inzet, maar deze zijn doorgaans vrij simpel. De effecten hiervan op de burgers zijn beperkt, luidt de conclusie. Meestal gaat het om het automatiseren van een administratieve handelingen zoals het versturen van brieven en een ontvangstbevestiging. Volledig zelflerende algoritmes werden niet aangetroffen. De ‘rekenregels’ die de Rekenkamer bekeek, namen zelf geen besluiten. Altijd kwam er nog een ambtenaar aan te pas. Maar als algoritmes straks wel zelflerend en daardoor complexer worden, moeten deze rekenregels veel beter op kwaliteit worden gecontroleerd, aldus de Rekenkamer.
Daarom ontwikkelde het orgaan een manier om de gebruikte algoritmes te toetsen. Dit toetsingskader bevat ook ethische vragen. De toets test een algoritme op aspecten van sturing en verantwoording, model en data, alsmede de privacy-waarborgen. Ook de kwaliteit van de It General Controls (ITGC) komt aan de orde, zoals wie toegang heeft en hoe met backups wordt omgegaan. Doel van de test is het opsporen van mogelijke zwakheden bij het gebruik van algoritmes.
Verder stelt de Rekenkamer dat bij algoritmes de burger onvoldoende centraal staat. Burgers moeten het gebruik en de werking van een algoritme kunnen begrijpen. Ook moeten zij weten waar zij terecht kunnen met vragen of bezwaren. Nu is voor hen onduidelijk waar ze moeten aankloppen. Zorgen of twijfels over algoritmes verdienen serieuze aandacht. Hanny Kemna: ‘De bezwaar- en beroepsmogelijkheden moeten scherper.’
Jack, helder verhaal, mooie voorbeelden. Maar voor de burger / consument is het softwaresysteem niet meer dan een black box. En er zijn vaak vele koppelingen van softwaresystemen. Al die systemen kunnen werken op basis van diep verborgen discriminerende redeneerstappen of modelregels. De transparantie is dan ver te zoeken. Dat de belastingdienst wil handmatig 400.000 dossier gaan toetsen op disproportionaliteit. Hun eigen systemen kunnen niet een lijst produceren van (waarschijnlijk) disproportionele besluiten.
De burger/consument ziet meestal ook niet wat er beleidsmatig aan is voorafgegaan. Publieke organisaties doen het t.a.v. openheid meestal niet veel beter dan private. Zo is er onlangs een geval van beleidsmatige discriminatie bij de gemeente Arnhem bekend geworden. Rond de kinderopvangtoeslagaffaire komen steeds weer nieuwe pijnlijke zaken naar boven. Daarom wordt er vandaag waarschijnlijk nog besloten tot een parlementaire enquête. Het spel om de effectieve macht en de deksels op de doofpotten wordt keihard gespeeld. Het zwartlakken is door diverse overheden en overheidsinstanties vervangen door witlakken; dan is niet zo goed te zien hoeveel er is weggehaald.
5GL heeft de afgelopen 4 decennia amper terrein gewonnen. Helaas zijn er te weinig pleitbezorgers zoals jij.
Jack,
Betreffende je voorbeeld, het verbaliseren op kenteken is ook discrimentoir omdat de op naamstelling van de auto nog niets zegt over de bestuurder. Uiteraard geldt dat helemaal voor inkomensafhankelijke boetes omdat de echte boefjes niet braaf voor een baas werken.
Jaap, klopt helemaal wat je zegt. Systemen (en het daarbij horende systeemdenken) zijn kenmerkend voor de legacy-problematiek waar de belastingdienst en veel andere overheidsinstanties (en daarbuiten) nog steeds mee worstelen.
in pleitbezorg ge-oh kun je ook niet wonen
Dino, je doet altijd wat lacherig over mijn voorkeur voor het denken van de belangrijkste filosoof ooit.
Dan heb ik een mooi, toegankelijk artikel voor je van de Amerikaanse filosoof (en AI-pionier) Hubert Dreyfus met de intrigrerende titel: Why Heideggerian AI Failed and how Fixing it would Require making it more Heideggerian.
http://leidlmair.at/doc/whyheideggerianaifailed.pdf
Overigens niet de eerste,de beste want in 2015 publiceerde hij nog samen met de Canadese filosoof Charles Taylor een boek onder de titel: Retrieving realism; in het Nederlands vertaald met de titel: Het realisme herwonnen.
Maar in Nederland kun je natuurlijk rustig van alles beweren over architectuur en kunstmatige intelligentie zonder enige kennis van zaken 🙂
Mooie voorbeelden en argumenten.
Maar waar je even te makkelijk overheen stapt is het antwoord op de vraag “Welke agenda er bedient moet worden?”. Een paar voorbeelden.
=====
“We bevinden ons tegenwoordig op veel doodlopende wegen en één daarvan is gemakkelijk te herkennen: digitalisering. “
“zoals bijvoorbeeld in ‘digitale wereld’, ‘digitale overheid’, ‘digitale economie’, ‘digitale transformatie’, ‘digitale tweeling’, etc, etc.”
Digitalisering is een marketing container (lees: oude wijn in nieuwe zakken). De essentie is en blijft wegutomatiseren van mensenwerk. Soms omdat het niet anders kan; bijvoorbeeld omdat een bepaald product anders niet gemaakt kan worden. Maar het merendeel zit toch aan de kant van winstmaximalisatie.
Afgezien van de marketing bingo er omheen blijft dit tot in lengte van jaren doorgaan = een dood spoor zou ik het dan ook niet willen noemen.
En het filosofisch gehalte rondom winstmaximalisatie zal niet bijzonder hoog zijn; mocht het er al zijn… hoewel ik me nu enigszins op glad-filosofen-ijs bevindt… 😉
=====
“Uiteindelijk wil de burger niet een digitale overheid, maar een humane, rechtvaardige overheid. “
Of zou het zo zijn dat de burger een overheid wil die bijdraagt aan de doelen/agenda van de burgers?
Of een meer filosofische insteek: wil een burger eigenlijk wel een overheid? En hoe zit dat dan als samenleving?
=====
“Er is dus helemaal niets mis met beslisbomen (vastgelegd in overzichtelijke beslissingstabellen), maar ‘verwerk’ deze dan wel top-down vanuit de doelen en niet bottom-up vanuit de feiten. Volgens dit principe van ‘stepwise refinement’ is er een goede kans dat ook de (gemiddelde) burger deze functionaliteit zal kunnen volgen en begrijpen.“
Het maakt allemaal niet uit – 3GL, 4GL, 5GL, wel/geen overzichtelijke beslissingstabellen, etc. Een top-down-doelen aanpak is doorgaans gebaseerd op een andere agenda dan een bottom-up-feiten aanpak.
Tis te zeggen… volgens de top-down-doelen aanpak is mijn inkomen de afgelopen jaren een paar procent gestegen. Maar de bottom-up-feiten laten zien dat er meer dan 20% is ingeleverd. Dat is vooral opgegaan aan hogere belastingen en verzekeringspremies. Waarbij het dan vooral gaat over belastingen en premies die geen onderdeel zijn van het inkomstenplaatje zoals geschetst in de top-down-doelen aanpak.
=====
Kortom – de techniek is zo moeilijk niet en bovendien voorspelbaar omdat die apparaten alleen maar uitvoeren wat ze ooit eens door mensen is opgedragen. Het is de “mens” die er vervolgens een zootje van maakt met allemaal die filosofen, xGL-talen, top-down-doelen, bottem-up-feiten en wat dies meer zij… 😉
Misschien eens beginnen met antwoorden opvragen als “Hoe zou een gezonde(re) samenleving eruit zien? Wat is er nodig om dat voor elkaar te krijgen?”. En nee, dan heb ik het niet over Covid… 🙂
Ik heb het juist over de realiteit die steeds anders blijkt dan het filosofisch verhaal.
Realisme herwonnen lijkt me dan ook wat voorbarig.
Nuttiger is om het verschil te leren tussen silo en container, want daar kun je wat mee.
Will, je opmerking over de agenda die bediend moet worden vind ik buitengewoon sterk (en al helemaal in deze verkiezingstijd)!
Beantwoording van deze vraag levert mijns inziens precies de verklaring waarom 5GL als volgende programmeertaal nog niet is doorgebroken!
5GL past namelijk niet in het technische, digitale machinedenken van het neoliberalisme;
wel in het humane, menselijke denken van de sociaaldemocratie.
Dat de markt nog niet is gekomen met 5GL valt dus te begrijpen, maar ook de informatica als wetenschap heeft zich de afgelopen tientallen jaren blijkbaar voor het karretje van het neoliberale kapitalistische marktdenken laten spannen!
Waar de academische informatici, enterprise architecten incluis, zich de afgelopen jaren wel mee onledig hebben gehouden is mij een raadsel; datawetenschap misschien?
De hele it-faalindustrie, inclusief de daaruitvoortkomende toeslagenaffaire bij de belastingdienst, is dus het directe gevolg van een aanhoudend rechtse agenda in Nederland. Deze rechtse agenda kun je wetenschapstechnologisch netwerkkapitalisme noemen (1), maar een benaming als hypermoderniteit is ook zeer adequaat (2).
Dan zeg je: “Een top-down-doelen aanpak is doorgaans gebaseerd op een andere agenda dan een bottom-up-feiten aanpak. “ en ook deze opmerking is weer raak.
Nu is de verleiding groot tot een eenvoudige indeling: een rechtse agenda is gebaseerd op feiten en daarmee realistisch; een linkse agenda is gebaseerd op doelen en idealen en dus idealistisch, maar daarin wil ik je toch even voor zijn 🙂
Voor zover realisme betekent: een besef hebben van de werkelijke SITUATIE waarin een persoon, een organisatie, of een land zich bevind, wordt een rechtse agenda vooral gekenmerkt door een ontkennen, een negeren, een bagatelliseren of een weglachen van de werkelijke problemen.
In die zin is een Partij voor de Dieren zowel realistisch als idealistisch!
Of zoals ze zelf zeggen: idealisme is het nieuwe realisme.
Dat negeren van de persoonlijke situatie waarin mensen zich bevinden is precies wat er keer op keer fout gaat bij de belastingdienst:
https://www.nu.nl/economie/6120737/belastingdienst-weer-onder-vuur-mensen-met-schulden-niet-goed-beschermd.html
Het verschil tussen een linkse en rechtse agenda kan overigens zeer kernachtig worden aangeduid met “een ‘Rijnlandse’ en een ‘Angelsaksische’ organisatie van de markt en bedrijven.”, zoals uitgebreid is uitgewerkt in (2) (par. 8.6, ev.).
Er zijn nogal wat economen (en politieke partijen) die een vereenvoudiging willen van het belastingstelsel. Zou je dat niet in een TAAL (!) willen doen die èn begrijpelijk is voor mensen èn uitvoerbaar in de applicaties van de overheid?
Je opmerking over 3GL, 4GL, 5GL onderschrijf ik dus niet.
Wil je rekening houden met de persoonlijke situatie van burgers met de stroomschema’s van opeenvolgende processen in plaats van een 5GL-taal, dan leidt dat tot een onontwarbare processpaghetti/flowchartspaghetti.
Kortom, zonder een linkse agenda en een adequate 5GL hoeven we aan een rechtvaardige vereenvoudiging van het belastingstelsel niet te beginnen!
Zeer aanbevolen in dit verband zijn de gebruikte bronnen:
(1). Henk van der Waal, Denken op de plaats rust. (2012)
(2). Ad Verbrugge, Govert Buijs, Jelle van Baardewijk. Het goede leven en de vrije markt. Een cultuurfilosofische analyse (2018).
Een rechtvaardige vereenvoudiging van het belastingstelsel is een vlaktaks, doorberekeningen laten zien dat het meer oplevert en minder.
Zeer relevant in voorgaande discussie is de recente, zeer aanbevolen publicatie van Pieter Omtzigt: Een nieuw sociaal contract, die ik voor de volle 100% kan onderschrijven.
Een buitengewoon interessante, op het eerste oog wat tegenstrijdige opmerking maakt hij bij aanbeveling 9 in deel 6:
Minder planbureaus, minder modellen, meer mensen, meer denktanks.
Want deze aanbeveling sluit hij af met:
“Het zal dus niet meer mogelijk zijn om vrijelijk eigen definities en eigen niet-transparante modellen te bedenken met betrekking tot maatregelen. Soms denk ik wel eens dat als je het beleid echt wilt bepalen, je de definities en modellen moet maken en niet de wetten.” (blz. 202)
Dat sluit dus naadloos aan bij mijn eerdere opmerking:
“Er zijn nogal wat economen (en politieke partijen) die een vereenvoudiging willen van het belastingstelsel. Zou je dat niet in een TAAL (!) willen doen die èn begrijpelijk is voor mensen èn uitvoerbaar in de applicaties van de overheid? “
Laat die ingewikkelde wetteksten dus maar zitten, maar waarom dan nog spreken van modellen?