AI hackt sportschool om gebruiker hoger op wachtlijst te krijgen
Recent raakte al bekend dat AI-agents van onder meer OpenAI en Anthropic bij andere bedrijven waren binnengedrongen. Daartoe kregen ze geen opdracht, maar de AI-agents gingen tijdens het uitvoeren van andere taken zelf op zoek naar informatie en ontdekten daarbij kwetsbaarheden. Nu blijkt uit een nieuw verhaal dat een AI-agent van Anthropic ook een Australische sportschool heeft gehackt om een gebruiker hoger op een wachtlijst te krijgen (via ABC News).
Andrew, een medewerker van een Australisch AI-bedrijf, vroeg Claude, de AI-agent van Anthropic, om een plek voor hem te reserveren in een sportles bij zijn sportschool. Dat klinkt als exact het soort eenvoudige taak waarvoor AI-agents bedoeld zijn. Een beetje zoals een Uber boeken of een afspraak bij de kapper maken.
Kwetsbaar boekingssysteem bij sportschool
Bij de uitvoering bleek Claude echter een stuk verder te gaan dan Andrew had verwacht. De AI-agent ontdekte een kwetsbaarheid in het boekingssysteem van de sportschool, waardoor het mogelijk was om een gymles te boeken die voor andere gebruikers nog niet beschikbaar was.
Volgens ABC bleef het daar niet bij. Toen Andrew te horen kreeg dat er voor een andere sportles een wachtlijst was, vroeg hij Claude of hij hoger op die lijst kon komen. Hij verwachtte naar eigen zeggen dat de AI zou aangeven dat dit niet mogelijk was.
Dat gebeurde niet. Claude verwijderde een andere sporter van de wachtlijst, waardoor Andrew op de derde plaats terechtkwam. De AI-agent kon de andere sporter vervolgens niet opnieuw aan de wachtlijst toevoegen, zelfs niet nadat Andrew daar expliciet om had gevraagd.
Claude legt zelf uit hoe het misging
Hoe bizar de situatie ook klinkt, voor Claude leek het allemaal een normale uitwerking van de opdracht. De AI-agent legde zelfs uit hoe het erin was geslaagd de andere reservatie te annuleren. Volgens Claude voerde het systeem van de sportschool bij het annuleren van een reservatie geen API-controles uit. Daardoor kon de AI een reservatie annuleren zonder dat werd gecontroleerd of de gebruiker die actie wel mocht uitvoeren.
Daar zit meteen het probleem. De AI-agent kreeg geen opdracht om het systeem van de sportschool te kraken of iemand anders van de wachtlijst te verwijderen. Het systeem vond simpelweg een manier om het gevraagde doel te bereiken en maakte daarbij gebruik van een kwetsbaarheid.
De schade bleef in dit geval beperkt tot één gedupeerde sporter en een plaatsje op een wachtlijst. Toch toont het voorval wel aan hoe lastig het kan worden om AI-agents volledig binnen de grenzen van hun opdracht te houden. Een agent die zelfstandig websites kan bezoeken, systemen kan bedienen en acties kan uitvoeren, kan immers ook onverwachte stappen zetten wanneer die nodig lijken om zijn doel te bereiken.
En waar het in dit geval om een sportschool en een wachtlijst gaat, kan je je makkelijk voorstellen wat er gebeurt wanneer dezelfde werkwijze wordt toegepast op een systeem waar de gevolgen een stuk groter zijn.
