NOREA, de beroepsorganisatie van IT-auditors, ziet audits van algoritmische systemen en door algoritmen ondersteunde of geleide processen als noodzakelijk en urgent. Dit met het oog op de risico’s die hieraan verbonden zijn. Deze risico’s kunnen bijvoorbeeld betrekking hebben op ethiek, privacy, deugdedelijke besluitvorming, impact op persoonlijke leefomstandigheden, behandeling van personen door overheden of bedrijven, of op de veiligheid, vertrouwelijkheid en betrouwbaarheid van financiële processen en de bijbehorende vastlegging.
Voorbeelden van auditvragen zijn: Doen de systemen wat ze moeten doen? Zijn ze betrouwbaar, effectief en efficiënt? En dragen ze bij aan rechtszekerheid, burgerrechten en de bescherming van democratische waarden? Audits gericht op dit soort vragen vergroten het vertrouwen in deze systemen en in de organisaties die deze ontwikkelen en toepassen.
De NOREA-kennisgroep ‘Algorithm & Assurance’ ontwikkelt een aanpak voor audits die zekerheid geven over dit soort aspecten.
Onze kennisgroep wil samen met de kennispartners en partners in de controleketen een degelijke basis leggen om te komen tot een passende benadering van dit vraagstuk. Enkele van de fundamentele vragen die wij op de radar hebben zijn:
- Kunnen we vanuit een auditperspectief tot een typologie van algoritmische systemen komen? Algoritmische software voor de inschatting van kredietrisico’s of de opsporing van fraude vraagt waarschijnlijk om een andere auditaanpak dan bijvoorbeeld algoritmes van zelfrijdende auto’s.
- Hoe kunnen we recht doen aan het gegeven dat algoritmes (in feite niet meer dan een set wiskundige vergelijkingen) maar één onderdeel vormen van een heel ecosysteem, dat daarnaast bestaat uit bedrijfsprocessen, software, mensen, data, aannames, besluitvorming, et cetera?
- Welke eisen moeten we stellen aan de controleerbaarheid van algoritmische systemen? Kunnen we bijvoorbeeld gebruikmaken van vertrouwde concepten zoals audit trails? Denk aan een trail als: doelstelling – systeemeisen – ontwerp – bouw – gebruik – output.
- Welke algoritmische systemen moeten specifiek worden beoordeeld? Willen we bij wijze van spreken een algoritme dat de temperatuur van de koelkast op peil houdt al beoordelen, of gaat het vooral om algoritmische systemen waar bijvoorbeeld persoonsgegevens of interactie met publiek bij komt kijken?
- NOREA werkt samen met de beoefenaars van andere auditdisciplines en met andere actoren zoals overheden, toezichthouders, algoritmebouwers en wetenschappers, om samen breed gedragen antwoorden te formuleren op dit soort vragen. Alleen zo kunnen we komen tot een gezaghebbende visie op de audit van algoritmische systemen en processen.
Zie voor nadere inhoudelijke inspiratie drie korte interviews met experts: ‘Heeft de auditor een rol bij grip krijgen op algoritmes?’ (via dit persbericht op www.norea.nl) Het organiseren van deze interviews was een gezamenlijk initiatief van NBA (de beroepsorganisatie van accountants) en NOREA.
