De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) deelt in een online publicatie vijf stappen voor het beschermen van ai-systemen. Die principes moeten bedrijven en organisaties die ai-toepassingen ontwikkelen, verdedigen tegen cybercriminelen.
In de brochure ‘Ai-systemen: ontwikkel ze veilig’ deelt de AIVD een aantal manieren waarop ai-systemen kwetsbaar zijn. Het Nationaal Bureau voor Verbindingsbeveiliging (NBV), onderdeel van de AIVD, onderscheidt vijf soorten aanvallen.
Poisoning-aanvallen
De aanvaller probeert aanpassingen te maken in de data, het algoritme of het machine learning-model zodat het ai-systeem wordt ‘vergiftigd’ en daardoor niet meer werkt zoals gewenst, zoals een scanner voor de controle van goederen die door manipulatie wapens doorlaat.
Input (evasion)-aanvallen
Aanvallen met specifieke input, bijvoorbeeld ruis over een foto. Zo wordt geprobeerd een ai-systeem om de tuin te leiden zodat het systeem niet of onjuist werkt.
Backdoor-aanvallen
Door een achterdeurtje in een ai-model te bouwen, kan een externe partij een extra pad toevoegen waarmee de uiteindelijke beslissing van het model kan worden bepaald.
Model reverse engineering & inversion-aanvallen
De aanvaller probeert erachter te komen hoe het ai-model werkt om de dataset te reconstrueren die gebruikt is om het model te trainen.
Inference-aanvallen
Gericht op het achterhalen of een specifieke set gegevens is gebruikt als trainingsdata voor een model.
Vijf stappen
De dienst ziet dat ai-toepassingen zich zo snel ontwikkelen dat het nu al zaak is om ai-systemen veilig te ontwikkelen. ‘Anders loop je het gevaar dat jouw ai-systeem niet meer werkt zoals het zou moeten, met alle gevolgen van dien.’
Op basis van eigen kennis en ervaringen en informatie van samenwerkingspartners zoals TNO en het Britse National Cyber Security Center zijn vijf principes opgesteld die helpen bij het nadenken over het veilig ontwikkelen en gebruiken van ai-modellen.
Houd de datakwaliteit op orde
‘De kwaliteit van data is hoe dan ook van groot belang als je een ai-model of -systeem ontwikkelt’, schrijft de dienst. De hamvraag: hoe gestructureerd is die data? Is bijvoorbeeld bekend waar de gegevens vandaan komen, kan de kwaliteit gecontroleerd worden? De dienst wijst op manieren om de data te bewerken, waardoor het lastiger is voor een aanvaller om iets aan trainingsdata of input te manipuleren. Zo moeten poisoning- en input-aanvallen voorkomen worden.
Zorg voor validatie van data
‘Bij extern verkregen data heb je vaak geen invloed op de data. Een data-provider kan besluiten andere labels toe te voegen, waardoor jouw model minder nauwkeurig wordt. Daarom is het belangrijk om dit continu te monitoren en waar mogelijk proactief te controleren’, aldus de AIVD.
Houd rekening met supply chain security
Zodra een kant-en-klaar model wordt gedownload of door anderen wordt ingericht, is de kans op een backdoor reëel, stelt de dienst. ‘Het tegengaan van een backdoor is lastig als je het model niet zelf kunt doorgronden. Als je het model zelf kunt bouwen of beoordelen, wordt de introductie van een backdoor lastiger.’
Maak je model robuust tegen aanvallen
De robuustheid van het ai-model is de mate waarin het model goed kan functioneren bij afwijkende input, veranderingen in de data of pogingen tot misbruik, stellen de experts. ‘Alle voorgaande principes maken het ai-model al meer robuust. Dit principe voegt daar aan toe: zorg dat je het model traint tegen mogelijke aanvallen.’ In de publicatie deelt de AIVD een methode om trainingsdata te beschermen tegen aanvallen.
Zorg dat je model controleerbaar (auditable) is
Als bij het bouwen en trainen van een model vooraf rekening wordt gehouden met controleerbaarheid, dan zal het achteraf minder een black box zijn, stellen de samenstellers. ‘Die ontwikkeling wordt ook wel ‘explainable ai’ genoemd. Een ai-model geeft voorspellingen, maar vaak is het onduidelijk hoe deze voorspelling tot stand is gekomen. Zelfs als het model goed ‘werkt’, kun je moeilijk uitleggen waarom. Herkent jouw beeldherkenningsmodel echt de paarden op afbeeldingen, of wordt het model om de tuin geleid door een onopvallend watermerk?’
Tor slot deelt de AIVD dat de vijf principes niet één-op-één gekoppeld zijn aan de vijf aanvallen. ‘Ze zijn een aanvulling op algemene best practices voor het ontwikkelen van software en het beheersen van netwerken en systemen.’
