De AI-wapenwedloop in cybersecurity is een oneindige strijd, maar niet deelnemen is verliezen

De meeste organisaties zijn zich intussen wel bewust van het belang van cybersecurity voor hun bedrijfscontinuïteit. En niet alleen in de bedrijfswereld, maar ook op overheidsniveau is het topic belangrijker dan ooit. Zeker in de huidige geopolitieke context en met de komst van het NIS2-framework moet AI in cybersecurity op de radar staan. Het voordeel van AI-systemen is dat ze leren en slimmer worden. Daardoor zal de technologie meer aanvallen kunnen onderscheppen.
Maar natuurlijk is het gebruik van AI een mes dat langs twee kanten snijdt. Ook cybercriminelen experimenteren ermee en proberen kwetsbaarheden in systemen te ontdekken en uit te buiten.

Zelfs een black box is niet veilig

Een AI-model heeft data nodig en dat maakt het voor hackers natuurlijk een aantrekkelijk doelwit. In de praktijk is een systeem zoals ChatGPT of een ander Large Language Model (LLM) een black box. Telkens je een vraag stelt, krijg je een mooi geformuleerd antwoord. Wat je meestal niet weet, is hoe het systeem tot dat antwoord is gekomen. We krijgen de logica immers niet te zien. Dat was ook al zo met traditionele AI-systemen. En toch is het mogelijk om deze modellen te manipuleren.

Uit onderzoek is gebleken dat zelfs een black box met de juiste technieken alle geheimen prijsgeeft. In vaktermen noemen we dit inference attacks. Concreet betekent het dat cybercriminelen vragen stellen aan het AI-model met de bedoeling om gevoelige data van bijvoorbeeld klanten uit het systeem te halen. Zelfs al is de data voor de aanvaller geanonimiseerd.

Neem het voorbeeld van een AI-systeem dat door een bank wordt gebruikt om te beoordelen of iemand in aanmerking komt voor een lening. Een aanvaller kan dit model herhaaldelijk bevragen met specifieke kenmerken van een persoon, zoals leeftijd, woonplaats en beroep. Het model geeft dan een voorspelling, bijvoorbeeld de kans dat de lening wordt goedgekeurd, samen met een bepaalde mate van statistische zekerheid.

Als het model opvallend zeker is bij een specifieke combinatie van kenmerken, kan dat erop wijzen dat deze gegevens (of sterk vergelijkbare data) in de trainingsset voorkwamen. Op die manier kan een aanvaller afleiden of informatie afkomstig is van een echte persoon.

De antwoorden van AI manipuleren

Nog een techniek die aanvallers gebruiken, is data poisoning. Hierbij injecteren ze trainingsdata om het model in een bepaalde richting te sturen. Stel: een bedrijf bouwt een e-mailspamfilter en hackers willen ervoor zorgen dat hun phishingmails toch door de mazen van het net glippen. Door vaak genoeg aan te geven dat de bewuste mails legitiem zijn, bijvoorbeeld door het aanmaken van duizenden nepaccounts, zal het model na een tijd leren dat het deze berichten moet goedkeuren. Zo zal de spamfilter dus niet meer in staat zijn om phishing doeltreffend tegen te houden.

Prompt injection is een gelijkaardige methode gericht op het manipuleren van de resultaten van LLM’s. Hierbij gaan hackers in natuurlijke taal instructies geven of vragen stellen om het model te beïnvloeden. Psychologen hebben ontdekt dat LLM’s perfect te misleiden zijn met de juiste skills. Vergelijk het met ons eigen gebruik van ChatGPT. Vaak krijgen we op een gelijkaardige vraag toch verschillende antwoorden. Dat komt omdat we onbewust heel wat bias in onze prompts steken.

Een eenvoudig voorbeeld: stel dat je ChatGPT vraagt waarom je de lekkerste frietjes in België kunt eten, dan heb je eigenlijk al een vooroordeel in je vraag verwerkt. Je impliceert immers dat je voor de beste friet in ons land moet zijn en dat zal ChatGPT wellicht niet tegenspreken. Als je zou vragen in welke landen je de beste frietjes kunt eten, dan zal het model een geheel ander antwoord geven.

Hackers gebruiken dergelijke technieken in hun voordeel. Het verschil met andere vormen van cybercrime is dat ze hiervoor geen technische vaardigheden nodig hebben, maar wel people skills. Het maakt van cybersecurity in het AI-tijdperk plots een multidimensionale uitdaging.

AI versus AI

Eén ding is duidelijk: cybersecurity is vandaag een strijd van AI tegen AI. Het is net zoals een agent en een crimineel die elkaar te slim af willen zijn. Naarmate de agent meer leert over de werkwijze van de crimineel, zal hij er vaker in slagen om hem te vatten. Omgekeerd wordt de crimineel eveneens slimmer wanneer hij gepakt wordt, waardoor hij zijn werkwijze kan bijsturen. Zo dagen ook AI-systemen elkaar constant uit en optimaliseren ze zichzelf om beter te worden.

Daarom mogen we nooit aannemen dat een model alle aanvallen kan tegenhouden. Een nieuwe AI-tool van Anthropic zou hackers bijvoorbeeld een ongezien wapen geven om kwetsbaarheden in systemen te ontdekken. Mythos kan naar verluidt de meest kritieke software ter wereld vatbaar maken voor een aanval. Anthropic heeft de tool gelukkig eerst beschikbaar gemaakt voor bedrijven met kritieke infrastructuur, zodat zij zich kunnen beschermen. Maar het toont aan dat we in een AI-wapenwedloop zitten. En niet deelnemen betekent onherroepelijk verliezen.

Tips voor een veiliger AI-model

Als gebruikers van AI-modellen kunnen we ook een verschil maken met de juiste security- en governance-praktijken. Hou bijvoorbeeld altijd een human-in-the-loop bij het trainen van een AI-model. AI kan zichzelf continu bijscholen en dus is het belangrijk om een goed beeld te hebben van de gebruikte data. Eens het model operationeel is, doe je ook best aan data monitoring. Dat wil zeggen dat je opvolgt welke data binnenkomt en hoe gelijkaardig die is aan de gegevens waarop je het model getraind hebt. Op die manier kan je al heel wat aanvalspogingen onderscheppen.

Tenzij AI toegang moet hebben tot alle data, geef je een model best ook niet meer informatie dan noodzakelijk is. Hou bovendien het verkeer en het gebruik van je AI-model in het oog. Als een gebruiker je systeem op een totaal andere manier inschakelt dan andere gebruikers, dan zou dit een verdachte handeling kunnen zijn. Gelukkig hoef je dit niet allemaal manueel te doen. Het is perfect mogelijk om je model te laten monitoren door een model dat hiervoor getraind is.

En tot slot moeten we natuurlijk altijd alert blijven. In theorie kunnen we AI-modellen best wel fair maken, maar de menselijke oneerlijkheid kunnen we er nooit volledig uithalen. Het mag ons zeker niet tegenhouden om van de mogelijkheden van AI te genieten. Zolang we ons bewust zijn van de risico’s en valkuilen, kunnen we hackers altijd een stapje voor blijven.

Dit opiniestuk is geschreven door Véronique Van Vlasselaer, Head of AI & Data Science, EMEA bij SAS en valt buiten de verantwoordelijkheid van de redactie.