Deze opinie is van een externe deskundige. De inhoud vertegenwoordigt dus niet noodzakelijk het gedachtegoed van de redactie.

Zo loopt de weg naar vertrouwen in ai

Computable Expert

Joep Gerrits
Regional Director, DataRobot. Expert van Computable voor de topics Digital Transformation, Business Analytics en Big data.

Net zoals vertrouwen in persoonlijke en zakelijke relaties moet groeien, heeft het ook tijd nodig voor een gebruiker van ai-technologie om vertrouwen te krijgen in het systeem. Transformatieve technologieën als zelfrijdende voertuigen kunnen alleen succesvol zijn als er duidelijke methoden en benchmarks zijn om vertrouwen te creëren in ai-systemen. Maar hoe wek je vertrouwen op in ai?

Om hier gericht mee aan de slag te gaan, is het belangrijk te begrijpen welke dimensies van vertrouwen er zijn. Het vertrouwen in ai-systemen is onder te verdelen in drie hoofdcategorieën. De eerste is het vertrouwen in de prestaties van het ai/machine learning-model. De tweede is vertrouwen in de werking van het ai-systeem. De derde is vertrouwen in de ethiek van de workflow, zowel om het ai-systeem te ontwerpen als hoe de output wordt gebruikt in het bedrijfsproces.

In elk van deze drie categorieën zijn er meerdere dimensies die helpen om deze concreter te maken. Door elke dimensie te combineren, ontstaat een systeem dat vertrouwen kan creëren.

Performance

"Het draait om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data?"

Als het gaat om het evalueren van de betrouwbaarheid van ai-systemen, dan moet je kijken naar verschillende facetten van performance. Deze draaien allemaal om de vraag: hoe goed kan mijn model voorspellingen doen op basis van data? Bij performance gaat het om de volgende dimensies van vertrouwen:   

  • Datakwaliteit

De performance van elk machine learning-model is nauw verbonden met de data waarop het is getraind en gevalideerd. Hoe kun je de oorsprong en kwaliteit van de gebruikte data verifiëren? Hoe kan het identificeren van hiaten of discrepanties in de trainingsdata helpen een betrouwbaarder model te bouwen?
  • Nauwkeurigheid

Hierbij gaat het om een subset indicatoren voor de performance van modellen die de fouten van een model op verschillende manieren meten. Het is multidimensionaal. Om nauwkeurigheid volledig te begrijpen, moet je het model dus evalueren met verschillende tools en visualisaties.
  • Snelheid

Hoeveel tijd kost het om met een model een voorspelling te scoren/ beoordelen. De snelheid van ‘model scoring’ heeft directe invloed op hoe je het in een bedrijfsproces kunt gebruiken. Hoe groot is de dataset? Hoe vaak wordt het proces uitgevoerd, maandelijks of dagelijks? Hoe snel is een voorspelling nodig? Al deze variabelen spelen een rol bij het bepalen van het belang van snelheid en nauwkeurigheid.
  • Robuustheid en stabiliteit

Hoe kun je er zeker van zijn dat jouw model zich op een consistente en voorspelbare manier gedraagt als het geconfronteerd wordt met veranderingen of fouten in je data? Het testen van je model om te kijken in hoeverre het reproduceerbaar, stabiel en robuust is, is een essentieel onderdeel van de volledige evaluatie.

Operatie

Best practices rond de werking van een systeem (de software en mensen die met een model communiceren) zijn net zo cruciaal voor de betrouwbaarheid ervan als het ontwerp van het model zelf. In de operatie zijn dit de dimensies van vertrouwen:

  • Compliance

Er zijn over het algemeen drie domeinen waarin risicomanagement en compliance gewaarborgd moeten worden: modelontwikkeling, implementatie en het toepassen van het model. Goede documentatie door end-to-end modeling workflows is één van de belangrijkste voorwaarden voor compliance.
  • Security

Grote hoeveelheden privacygevoelige data worden geanalyseerd of verwerkt door ai-systemen. Onafhankelijke en internationale standaarden zoals ISO 27001 zorgen ervoor dat informatiebeveiliging goed wordt ingericht.  
  • Nederigheid

Een ai-voorspelling is fundamenteel probabilistisch. Daarom worden niet alle modelvoorspellingen op hetzelfde betrouwbaarheidsniveau gemaakt. Het herkennen en erkennen van onzekerheid is een belangrijke stap in het creëren van vertrouwen.
  • Governance en monitoring

Governance in ai is de formele infrastructuur voor het beheer van mens-machine-interactie. Om vertrouwen te winnen, is het van cruciaal belang dat er een duidelijk systeem van monitoring, aansprakelijkheid en redundantie is, inclusief gezamenlijk toezicht en samenwerking tussen it-specialisten, data scientists en business professionals. 
  • Business rules

Weten wanneer en hoe een bedrijf een ai-model moet gebruiken en informatie over het model beschikbaar maken kan ook bijdragen aan de betrouwbaarheid.

Ethiek

"Privacy is een basisrecht, maar het is ook gecompliceerd"

Ai-systemen en de data die ze gebruiken, kunnen wereldwijd impact hebben. Het is belangrijk dat zij de waarden van verschillende stakeholders met verschillende perspectieven vertegenwoordigen. De dimensies van vertrouwen op het gebied van ethiek zijn: 

  • Privacy

Privacy is een basisrecht, maar het is ook gecompliceerd door het gebruik en de uitwisseling van data. De eerste stap is begrijpen welk type data gedefinieerd moet worden als ‘personally identifiable information’. Best practices in informatiebeveiliging moeten benut worden en geïntegreerd worden in elk systeem.   
  • Vooringenomenheid en eerlijkheid

Het start met begrijpen wat het nu betekent voor een ai-model om vooringenomen te zijn. Ten tweede moet je begrijpen waar dit vandaan komt. De grootste oorzaak van vooringenomenheid in een ai-systeem, is de data waarop het systeem is getraind. Machine learning leert van data, maar die data zijn afkomstig van ons, onze beslissingen en systemen. Dan wordt het belangrijk om te begrijpen hoe de vooringenomenheid is te meten en biedt het uiteindelijk mogelijkheden om vooringenomenheid te verminderen.
  • Verklaarbaarheid en transparantie

Hoe kun je een gedeeld begrip creëren tussen mensen en machines die beslissingen nemen? Verklaarbaarheid is één van de meest intuïtieve en krachtige manieren om vertrouwen te creëren tussen een gebruiker en een model. Kunnen interpreteren hoe het model werkt en beslissingen neemt, is belangrijk voor de uiteindelijke evaluatie.
  • Impact

Wanneer je de echte waarde die machine learning toevoegt aan een use-case evalueert, is een impactbeoordeling een krachtig hulpmiddel. Het kan de impact laten zien die een model heeft op de organisatie en op de personen die erdoor worden geraakt.

Ethische norm

Er is geen universele ethische norm die kan anticiperen op elk probleem dat de ontwikkeling en het gebruik van een ai-systeem mogelijk met zich meebrengt. Maar met vooruitdenken en begrip van de dimensies van vertrouwen (nauwkeurigheid, robuustheid en stabiliteit, veiligheid, privacy, governance, nederigheid, vooringenomenheid en eerlijkheid, verklaarbaarheid en meer), kunnen er ai-systemen zijn die onze waarden weerspiegelen en vertrouwen verdienen.

 

x

Om te kunnen beoordelen moet u ingelogd zijn:

Dit artikel delen:

Uw reactie

LET OP: U bent niet ingelogd. U kunt als gast reageren maar dan wordt uw reactie pas zichtbaar na goedkeuring door de redactie. Om uw reactie direct geplaatst te krijgen moet u eerst rechtsboven inloggen of u registreren

Vul uw naam in
Vult u een geldig e-mailadres in
Vult u een reactie in
Jaarbeurs b.v. gaat zorgvuldig en veilig om met uw persoonsgegevens. Meer informatie over hoe we omgaan met je data lees je in het privacybeleid
Als u een reactie wilt plaatsen moet u akkoord gaan met de voorwaarden
Nieuwsbrief

Wil je dagelijks op de hoogte gehouden worden van het laatste ict-nieuws, trends en ontwikkelingen? Abonneer je dan op onze gratis nieuwsbrief.

Vul een geldig e-mailadres in

Stuur dit artikel door

Uw naam ontbreekt
Uw e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×
article 2021-08-19T11:34:00.000Z Joep Gerrits
Wilt u dagelijks op de hoogte worden gehouden van het laatste ict-nieuws, achtergronden en opinie?
Abonneer uzelf op onze gratis nieuwsbrief.