De eerste versie van het centrale algoritmeregister van de overheid staat sinds vanmiddag live. Daarmee is een eerste stap gezet in een proces dat duidelijkheid biedt hoe de overheid algoritmes inzet.
Op zijn vroegst in 2024 moeten alle voor burgers toepasselijke algoritmen de het register verplicht zijn opgenomen en inzichtelijk zijn. Maar het kan ook een jaar of meer langer duren, mede omdat de voorgestelde Europese ai-verordening nog niet definitief is vastgesteld.
Met de lancering van het centrale onderdeel van het publieke algoritmeregister zijn gegevens over de gebruikte ‘rekenrecepten’ thans op één plek doorzoekbaar voor iedereen. Het kabinet wil dat algoritmes zijn te controleren op discriminatie en willekeur. De Toeslagen-affaire heeft de roep om zo’n register nog versneld.
Tekort
Staatssecretaris Alexandra van Huffelen (Digitalisering) erkende vandaag dat de transparantie over de inzet van algoritmes door de overheid tekort schiet. Dankzij een centraal register kunnen burgers de overheid kritisch volgen en bevragen of zij zich aan de regels houdt. Het register kan ook bijdragen aan het beter uitlegbaar maken van de toepassing en uitkomst van algoritmes, schrijft Van Huffelen aan de Tweede Kamer.
De staatssecretaris benadrukt dat dit register een eerste versie is. Ze loopt daarmee vooruit op de kritiek bij andere registers (van gemeenten) dat daar maar heel weinig algoritmes in voorkomen. De meeste registers die overheden tot nog toe hebben gepubliceerd, beperken zich tot een uitleg van wat bepaalde applicaties of diensten doen. Ook worden overzichten gegeven van verwerkte (persoons)gegevens. Maar de beslis- en rekenregels die ingezet worden, blijven vrijwel altijd in het duister.
Van Huffelen erkent dat doorontwikkeling beslist nodig is. Het komend jaar zal in overleg met overheden worden gewerkt aan een eenduidige registratie van algoritmes. Haar uitgangspunt blijft dat overheidsorganisaties zelf verantwoordelijk zijn voor het inzage geven in algoritmes en daarmee het opstellen en het beheer van een algoritmeregister. Hieronder vallen ook het borgen van de kwaliteit, compliance en interne implementatie van het register.
Metadatastandaard
De staatssecretaris onderstreept het belang dat de centrale registratie van algoritmes eenduidig en bruikbaar moet zijn. Daartoe moeten overheden hun algoritmes op dezelfde wijze beschrijven. Een metadatastandaard is noodzakelijk voor die eenduidigheid. In de eerste versie van het algoritmeregister wordt gebruik gemaakt van de metadatastandaard van het innovatieproject Consortium Publieke Controle op Algoritmes.
De huidige metadatastandaard is een eerste versie en wordt, samen met andere departementen, uitvoeringsorganisaties, provincies en gemeenten, doorontwikkeld. De broncode van het algoritmeregister zelf staat online. De komende tijd zal het register worden uitgebreid en doorontwikkeld. Ook zullen meer instrumenten worden geïntroduceerd om algoritmes te reguleren. Daaronder vallen een implementatiekader algoritmes, de Europese ai-verordening die er straks gaat komen alsmede het regelen van het toezicht op algoritmes.
Als de Overheid alle algoritmen die op burgers van toepassing zijn, zullen we een definitie nodig hebben. Wat is een algoritme? Toen ik studeerde was dat eenvoudig, en elke informaticus wist het: een algoritme is een berekeningsvoorschrift dat in eindige tijd een antwoord geeft. Daarvan had je er ontelbaar veel: Je had sorteer-algorimtes, je kon zoeken in grafen, je had een algoritme om het kortste pad te vinden tussen Amsterdam en Enschede, je had algoritmes om een tekening te renderen, enzovoorts.
Nu is dat anders: een algoritme is iets schimmigs, op basis waarvan mensen worden gediscrimineerd, hun privacy wordt geschonden en dergelijke. Ik heb geen behoefte om het ouderwetse sorteer-algoritme in het register terug te zien, maar ik zou wel willen weten op welke gronden een toeslagenbesluit wordt genomen.
Maar welke definitie van algoritme maakt (in juridische zin) het gewenste onderscheid?
Een algoritme is abstracte automatisch beleidsoperator die door politici gebruikt kan worden om ergens geen verantwoordelijkheid voor te hoeven nemen. Dat lijkt me een mooie definitie.
Hebben we trouwens al een me-too register voor de slachtoffers ?
Steeds meer mensen die het gangbare “computer says no” want zo-ging-dat-in-die-tijd, niet meer pikken.
Graag alvast excuses van het koningshuis.
Een definitie van algoritme is niet nodig, want de overheid moet er juist vanaf.
Zo is het begrip ‘algoritme’ nogal dubbelzinnig; enerzijds zijn het redeneerstappen in een duistere 3GL-programmeertaal zoals Java en anderzijds met data trainbare neurale netwerken. Maar algoritmen zijn vooral kenmerkend voor 3GL-talen; van Cobol in de jaren 60 tot Java en Python nu. Het betreft een procedurele vastlegging van kennis: feiten + logica/rekenregels leiden tot nieuwe feiten en daarmee is het dus een datagedreven aanpak en gericht op het HOE.
Een 4GL-taal als SQL is meer declaratief dan procedureel, omdat je in één keer, zonder procedurele tussenstappen kunt formuleren welke gegevens gewenst zijn, en daarmee dus gericht op het WAT.
Het alternatief voor 3GL (en dus voor algoritmen) dient zich aan met de doelgedreven aanpak van een 5GL; niet vanuit de feiten wordt op onverklaarbare (!) wijze toegewerkt naar een eindresultaat, maar vanuit de gewenste resultaten (ofwel de doelen/beslissingen) worden de benodigde feiten opgevraagd, waarbij deze doelen (en hiervoor te realiseren subdoelen) weer als verklaring dienen voor de opgevraagde gegevens en de genomen beslissingen (dus de gronden van een genomen besluit). Waarmee een 5GL dus gericht is op het WAAROM.
Kortom; je gaat niet van feiten met allerlei rekenregels/logica naar doelen (ofwel de te nemen beslissingen/besluiten), maar vanuit de gewenste (talige!) doelen kom je wel tot de feiten (en uiteraard alleen de feiten die RELEVANT zijn). Het gaat dus niet om de regels, maar om de beslissingen/besluiten!
Laat ik nu net gisteren een oplossing hebben ingestuurd voor een challenge die hier heel mooi op aansluit:
https://dmcommunity.org/challenge-jan-2023/
Waaruit blijkt dat ik helemaal geen afscheid wil nemen van het begrip algoritme.
En dan is de opmerking van Stef Joosten opeens wel heel relevant en interessant.
Dan zou ik zeggen: algoritmen zijn rekenvoorschriften (3GL,4GL) of handelings- en beslissingsvoorschriften (4GL,5GL).
Een nieuw belastingstelsel is te beschrijven met beslissingstabellen, die DOELgericht (en dus niet DATAgericht) worden verwerkt, en als 5GL is aan te sluiten op elke 4GL naar keuze maar evengoed op een Enterprise Service Bus (SOA done right).
Helaas denkt de Belastingdienst hier nog anders over:
https://wendbarewetsuitvoering.pleio.nl/
https://www.nrc.nl/nieuws/2023/02/15/overheidsfinancien-in-gevaar-door-verouderde-ict-van-fiscus-a4157264
Reken- of beslissingsvoorschriften zijn volgens mij beiden gedefinieerde regels die moeten leiden tot een uitkomst, het HOE hiervan schijnt een punt te zijn. En deze vraag kun je een second opinion geven met data, het digitale residu als bewijslast wordt nog weleens vergeten. De uitdaging van het voorbeeld van ‘Flappie’ gaat om emoties welke door cijferaars plat geslagen worden in algoritmen.
Oplossing van Jack lijkt – naar mijn opinie – de plank mis te slaan want het HOE ouder we worden HOE duurder het speelgoed is een factor die niet in de dataset zit. En rendement van een betaalbaar cadeau op basis van een berekende dankbaarheid lijkt me eerder budget gedreven.
“Maar de beslis- en rekenregels die ingezet worden, blijven vrijwel altijd in het duister.”
Helaas geldt dat ook voor deze reactie van het Oudlid en blijven we door gebrek aan transparantie opgescheept met de vooringenomenheid van algoritmen.
Hoe realiseer je een second opinion met data als je niet weet welke regels en data relevant waren voor de genomen besluiten?
Heb toch zo’n idee dat de AI juist bestaat uit het nemen van “juiste” beslissingen zonder dat bekend is waarop die gebaseerd zijn. Net als de politiek.
Dat is juist de AI anders is het gewoon 3GL regels volgen.
Op het moment dat je de regels niet meer geheel kunt volgen maar er is wel een uitkomst is het AI.
Wat dat betreft is explainable AI een paradox : als je kunt verklaren, waarom heb je dan nog AI nodig 😉
Zoveel politieke partijen en allemaal hebben ze gelijk en allemaal met explanation.
Natuurlijk is 3GL programma van enige omvang ook niet meer te volgen tenzij wekenlang code spitten
maar dan val je terug op de specificaties, dwz die zouden er moeten zijn 😛
Is er eigenlijk wel wezenlijk onderscheid tussen een conventioneel programma en AI ?
Uiteindelijk is AI ook gewoon gecodeerd volgens specificaties (dwz die zouden er moeten zijn :-P)
En als ze niet goed gespecificeerd zijn hoe kan AI dan ooit explainable zijn ?
Als ze wel goed gespecifieerd zijn, wat moet er dan nog explained worden ?
Nou, ik hoop dat ik genoeg verwarring heb veroorzaakt.
Of juist niet.
Maar waar blijven die excuses nou ?
AI moet zichzelf leren hoe een juiste beslissing wordt genomen door aanpassing van beslis- en rekenregels. Maar de mens moet een AI-systeem aangeven wat goed en wat fout is a.d.v. representatieve gevallen. De mens bepaalt wat representatief zou zijn, wat de foutmarge van een systeem mag zijn, enz. AI is dus nog steeds menselijk en vaak net zo ondoorgrondelijk als je niet oppast. Lastig bij een second opinion of hoger beroep, als je de gebruikte beslis- en rekenregels niet helder documenteert en aan een beslissing koppelt.
In het register geven overheden aan of het gebruikte algoritme zelflerend is, of op (vaste menselijke) regels gebaseerd. Zie ook https://algoritmes.overheid.nl/.
Zie https://dmcommunity.org/challenge-jan-2023/ Jack, ik tel namelijk 7 keer de HOE van inzendingen maar de uitkomsten op dezelfde data zijn niet gelijk. Het winkelen in verschillende uitkomsten is niet belangrijk want we kunnen het gevoel van geven uiteindelijk niet controleren, het blijft een theoretische oefening van aannames. Maar vertel eens Jack waarom je verwijst naar jouw inzending aangezien het objectief inkleuren van een gevoel uiteindelijk om het openstaan van de mening van een ander gaat. Leuke van reacties is het warme gevoel van superioriteit wat ik anderen geef als ze oordelen over mijn stommiteit.
Vergeef me dat ik hier het scorebord gesloopt heb maar ik neem aan dat je wel het aantal hits opvraagt aangaande jouw oplossing, ik vrees dat je concurrentie in de prijsvraag slimmer is door een link naar eigen winkel te geven. Dezelfde data, andere uitkomsten op gevoel lijkt mij om een dispuut te gaan waarin ons rechtssysteem niet zoiets als een jury kent. Dino moet zijn adem niet inhouden voor een excuus maar wat betreft zijn uitleg vind ik die van hem beter dan van jouw Jack, ad hominem zegt meer over jouw dan mij.
Jaap, je kunt de (opeenvolgende!) reken- en beslisregels documenteren wat je wil, maar daarmee is de koppeling met de besluiten nog steeds niet gelegd en door een applicatie dus ook niet te reproduceren. Systemen die geprogrammeerd zijn in een 3GL kunnen dus niet uitleggen en verklaren hoe ze tot een bepaalde beslissing, bijvoorbeeld de hoogte van een toeslag, zijn gekomen (vanwege de procedurele vastlegging van de feiten en de kennis).
Eigenlijk kun je je afvragen of er in een 3GL wel sprake is van beslis- en rekenregels; het zijn eerder instructies (imperatief). Het begrip ‘regel’ is sowieso nogal veelomvattend; bekijk ook eens de grafische weergave op: https://synoniemen.net/index.php?zoekterm=regel
De clou is dat een applicatie steeds weer de onderliggende beslissingsboom moet kunnen reproduceren voor een genomen beslissing (wat dus met 3GL-systemen onmogelijk is). Zo’n beslissingsboom wordt ook wel een decision requirements diagram (DRD) genoemd. Met zo’n DRD is het mogelijk om een beslissing op bedrijfsniveau te specificeren door te laten zien van welke andere beslissingen deze afhankelijk is en welke gegevens daarvoor nodig zijn.
Wat betreft de verantwoording van een genomen besluit is de gebruiker zelden geinteresseerd in de complete beslissingsboom die hieraan ten grondslag ligt en is het vaaak voldoende om de meest abstracte deelbesluiten te leveren waarop dat besluit is genomen. Is zo’n deelbesluit bijvoorbeeld “ingezetene in Nederland”, dan heeft de aanvrager waarschijnlijk geen interesse in de onderliggende gegevens en besluiten waarop dit deelbesluit is gebaseerd. Dat betekent dus dat de burger real time de besluiten van de overheid kan opvragen en steeds kan inzoomen op deelbesluiten en onderliggende gegevens die hem of haar op dat moment interesseren.
@Jack, je hebt gelijk dat je in feite heel veel moet vastleggen om een beetje te kunnen zien wat waarom is besloten. Daarom moet er ontwerp info toegevoegd worden. Een website als https://algoritmes.overheid.nl/ is een eerste opzet, kijkt naar die van Github (https://github.com/MinBZK/Algoritmeregister) en kent nu veel beperkingen. En zoals je aangeeft zijn er meerdere generaties programmeertalen die heel anders opgezet zijn.
De overheid zelf geeft over de website aan:
“Die open ontwikkeling betekent dat de inhoud door de tijd heen zal wijzigen, bijvoorbeeld:
– Er komen algoritmes bij of gaan algoritmes af
– De ‘standaard’ (velden met informatie) wordt gewijzigd en/of uitgebreid
– De reeds gepubliceerde beschrijving van algoritmes wordt gewijzigd en/of uitgebreid.”
Input van ervaren ontwikkelaars is daarom belangrijk en daar vraagt de overheid ook naar.