Soms worden GenAI en grote taalmodellen (LLM's) die in populaire onlinediensten zijn ingebouwd, onbewust ingezet als medeplichtigen voor social engineering. Onderzoekers waarschuwden onlangs dat precies dit op X (voorheen Twitter) gebeurt. Het is dus hoog tijd om alle output van openbare AI-bots als onbetrouwbaar te beschouwen.
AI vormt een dubbele social engineering bedreiging. Enerzijds kunnen LLM’s ertoe worden aangezet om zeer overtuigende phishing-campagnes op grote schaal te ontwerpen en deepfake-audio en -video te creëren die zelfs de best geïnformeerde gebruiker misleiden. Anderzijds is er de veel verraderlijkere bedreiging: een techniek die “Grokking” werd genoemd (niet te verwarren met het grokking-fenomeen te zien bij machine learning).
In deze campagnes omzeilen criminelen het verbod van X op links in gepromote berichten (bedoeld om malvertising te bestrijden) door clickbait-video’s te plaatsen. Ze kunnen hun kwaadaardige link in het kleine “Van”-veld onderaan de video plaatsen. Hier vragen de criminelen vervolgens aan Grok, X’s ingebouwde GenAI-bot, waar de video vandaan komt. Grok leest het bericht, ziet de kleine link en vermeldt deze in zijn antwoord. Deze techniek is gevaarlijk, omdat:
· die truc Grok effectief verandert in een kwaadwillende speler door deze ertoe aan te zetten opnieuw een phishinglink in een vertrouwde account te plaatsen;
· deze betaalde videoberichten vaak miljoenen keren bekeken worden, zodat scams en malware zich bijna onbeperkt kunnen verspreiden;
· Grok een zeer betrouwbare bron is en de links nog versterkt worden in SEO en domeinreputatie:
· onderzoekers ontdekten dat honderden accounts dit proces herhaalden tot ze geschorst werden;
· de links doorsturen naar formulieren voor het stelen van inloggegevens en malwaredownloadst kan leiden tot overname van accounts, identiteitsdiefstal en meer.
Dit is niet enkel een X/Grok-probleem. Dit kan toepast worden op alle GenAI-tools/LLM’s die in een vertrouwd platform geïntegreerd zijn. Het laat de vindingrijkheid zien van criminelen om beveiligingsmechanismen te omzeilen. Maar ook de risico’s die gebruikers nemen door in de output van AI te vertrouwen.
‘Prompt injectie’ is een soort aanval waarbij criminelen GenAI-bots kwaadaardige instructies geven, vermomd als legitieme gebruikersprompts. Ze kunnen dit rechtstreeks doen door die instructies in een chatinterface te typen, of onrechtstreeks, zoals in het geval van Grok.
In dit geval zit de kwaadaardige instructie meestal verborgen in data die het model vervolgens moet verwerken als onderdeel van een legitieme taak. In dit geval wordt een kwaadaardige link in de video-metadata onder het bericht geplaatst, waarna Grok de vraag krijgt: “Vanwaar komt deze video?”
Deze aanvallen nemen toe. Gartner meldde onlangs (Gartner claimed recently) dat een derde (32%) van de organisaties het afgelopen jaar te maken kreeg met snelle injectie. Helaas zijn er tal van andere mogelijke scenario’s waarin iets vergelijkbaars als de Grok/X zich kan voordoen. Zoals hier:
· Een aanvaller plaatst een legitiem ogende link naar een website, die in werkelijkheid een schadelijke prompt bevat. Vraagt een gebruiker een ingebouwde AI-assistent “dit artikel samen te vatten”, dan verwerkt de GenAI de prompt in de webpagina om de payload van de aanvaller te leveren.
· Een aanvaller uploadt een afbeelding naar sociale media met een verborgen prompt. Vraagt een gebruiker zijn AI-assistent om de afbeelding uit te leggen, dan verwerkt deze de prompt opnieuw.
· Een aanvaller kan een schadelijke prompt op een openbaar forum verbergen met wit-op-wit tekst of een klein lettertype. Vraagt een gebruiker een AI-assistent om de beste berichten in de discussie voor te stellen, kan dit de foute reactie activeren – door o.a. de assistent er toe aan te zetten de gebruiker een phishingsite te laten bezoeken.
· Zoals in bovenstaand scenario, als een klantenservicebot forumberichten doorzoekt naar advies om een gebruikersvraag te beantwoorden, kan deze aangezet worden om de phishing-link weer te geven.
· Een aanvaller kan een mail sturen met een verborgen schadelijke prompt in wit-op-wit tekst. Als een gebruiker de AI-assistent van zijn mailclient vraagt om de ‘meest recente mails samen te vatten’, wordt de assistent aangezet tot het uitvoeren van een schadelijke actie, zoals het downloaden van malware of het lekken van vertrouwelijke mails.
Er zijn oneindig veel variaties op deze bedreiging. Men kan er niet van uitgaan dat de AI-assistent niet is misleid door een vindingrijke bedreigingsactor.
Kwaadaardige prompts kunnen onzichtbaar gemaakt worden – in witte tekst, metadata of Unicode -tekens. Elke GenAI die openbare data doorzoekt om antwoorden te geven, is kwetsbaar voor het verwerken van data die “vergiftigd” werd om schadelijke content te genereren. Denk hieraan:
· Als je een link van een GenAI-bot krijgt, beweeg dan met de muis eroverheen om de daadwerkelijke bestemmings-URL te controleren. Klik er niet op als de link er verdacht uitziet.
· Wees steeds sceptisch over de output van AI, vooral als het antwoord verdacht lijkt.
· Gebruik sterke, unieke wachtwoorden (opgeslagen in een wachtwoordmanager) en multifactor-authenticatie (MFA) om het risico op diefstal van inloggegevens te beperken.
· Zorg ervoor dat al je software en besturingssystemen up-to-date zijn om het risico op misbruik van kwetsbaarheden te minimaliseren.
· Investeer in meerlaagse beveiligingssoftware van een gerenommeerde leverancier om malwaredownloads, phishing en andere verdachte activiteiten op je apparaat te blokkeren.
Geïntegreerde AI-tools hebben een nieuw front geopend in de strijd tegen phishing. Loop er niet in, stel altijd vragen en ga er nooit vanuit dat AI altijd de juiste antwoorden heeft.
Bezoek voor meer informatie of www.eset.com of https://www.est.com/be-nl/,volg onze sociale media, podcasts en blogs.
Meer lezen
