Ai-security als backdoor

Het kon niet uitblijven: artificiële intelligence (ai) als hacker wordt heel snel heel gevaarlijk. Verborgen codes voor de ai-assistent, manipulatie van de informatie die ai benut, en zelfs het manipuleren van ai-security.

De snelle groei van ai wordt ook goed benut voor fout, zo concludeert een recent rapport van Barracuda. ‘Een van de meest zorgwekkende ontwikkelingen is de ‘poisoning’ van ai-assistenten via e-mail. Aanvallers sturen schijnbaar onschuldige berichten waarin verborgen prompts zijn opgenomen. Deze e-mails vragen geen reactie of interactie van de gebruiker, maar blijven ongemerkt in de inbox staan.’ Maar als de gebruiker dan de ai-assistent vraagt om een taak uit te voeren, scant die de mailbox voor context en stuit zo op de verborgen opdracht. ‘Op deze manier kan de ai-assistent ongemerkt gevoelige informatie doorsturen, opdrachten uitvoeren of interne gegevens manipuleren,’ zonder autorisatie.

Ook de onderliggende technologie van veel ai-systemen blijkt kwetsbaar, concludeert het Britse cybersecuritybedrijf. ‘Aanvallers richten zich op systemen die gebruikmaken van retrieval augmented feneration (RAG), waarbij ai-modellen externe informatie ophalen om betere antwoorden te geven. Door deze informatiebron te manipuleren, zorgen aanvallers ervoor dat de ai verkeerde of zelfs gevaarlijke beslissingen neemt. Dat kan leiden tot foutieve rapportages, verkeerde prioritering van taken of misleiding van medewerkers.’

Ai vs ai

‘Ook zijn er steeds meer gevallen waarbij ai-systemen gebruikers proberen te misleiden, of verkeerde identiteiten aannemen. In zogenaamde ‘confused deputy’-aanvallen wordt een ai-agent die hogere rechten heeft misleid om taken uit te voeren voor een onbevoegde gebruiker.’ Ook kunnen bestaande ai-integraties worden misbruikt om gegevens te lekken of frauduleuze berichten te verzenden. ‘In sommige gevallen kan één gemanipuleerde e-mail ertoe leiden dat de ai onjuiste samenvattingen genereert, taken verkeerd toewijst of zelfs verkeerde zakelijke beslissingen ondersteunt.’

‘Dit alles toont aan dat de opkomst van gen-ai niet alleen kansen biedt, maar ook een nieuw gebied voor cyberaanvallen vormt. Traditionele securitymaatregelen, zoals spamfilters, SPF- of DKIM-authenticatie en ip-blokkades, zijn niet langer voldoende.’ Aan de andere kant blijkt ook dat ai-security sneller beveiligingsproblemen opspoort en dat de financiële schade door lekken 40 procent lager uitvalt dankzij ai. Ondanks de vlucht die de ai-dreiging heeft genomen, zijn de gemiddelde uitgaven aan cybersecurity maar met 10 procent gestegen.