Als gemeenten beslissingen nemen, gebeurt dat normaliter democratisch en met aandacht voor de mensenrechten. Door sommige beslissingen over te laten aan algoritmes, is dit niet vanzelfsprekend. Dit heeft volgens het CRM te maken met de in- en externe organisatie van gemeenten.
Er is een scheidslijn tussen beleid en uitvoering en eentje tussen datagedreven werk en de traditionele it die zorgt dat computers werken. Vaak is onduidelijk welk onderdeel van de organisatie verantwoordelijk is, waardoor het lastig is heldere afspraken te maken over de inzet van technologie en over de verantwoording daarover.
Commerciële softwarepakketten
Een complicerende factor is dat de meeste gemeenten commercieel ontwikkelde softwarepakketten gebruiken. Vaak hebben gemeenten de functionaliteit en de wijze waarop wetten in de systemen worden geïnterpreteerd, niet zelf ontworpen of voorgeschreven. Dit kan volgens het CRM op gespannen voet staan met de lokale autonomie. Er ligt veel macht bij softwareontwikkelaars. 'Zij zetten wetten om in code', schrijft het mensenrechtencollege.
Bij digitale dienstverlening bieden gemeenten vooral aandacht voor de bescherming van persoonsgegevens, maar niet voor toetsing van de impact op de mensenrechten, aldus het CRM. Onder invloed van bijvoorbeeld de toeslagenaffaire komt hier langzaamaan wel meer aandacht voor.
Als inwoners het niet eens zijn met een beslissing die is gebaseerd op een algoritme, is het niet duidelijk waar deze persoon terecht kan. Gemeenten wijzen standaard naar de mogelijkheid om in bezwaar of in beroep te gaan, of verwijzen door naar de ombudsman.
Wel of geen algoritmes?
Sommige gemeenten gebruiken nog helemaal geen algoritmes. Anderen zeggen de technologie niet in te zetten voor besluitvormingsprocessen, terwijl de kans volgens het CRM groot is dat daarvoor wel degelijk algoritmes worden gebruikt. Ai wordt vaak toegepast bij het proces van kwijtschelding van gemeentelijke belastingen, bij de berekening van bepaalde uitkeringen en bij online monitoring, aldus het college. Ze zetten de technologie bovendien steeds vaker in voor risicoprofilering.
Het CRM roept gemeenten op tot samenwerking bij de inkoop van software en zo de mensenrechten bij de inzet van algoritmes beter te beschermen. Ook wil het college in overleg met softwareontwikkelaars.
Om te kunnen beoordelen moet u ingelogd zijn: