OpenAI haalt AI-detectietool offline wegens slechte resultaten
We spoelen terug naar het begin van het jaar. ChatGPT was nog maar een aantal weken beschikbaar voor het grote publiek. Toch maakten heel wat mensen zich zorgen over de authenticiteit van content en andere schrijfsels. Het is belangrijk om te weten of een tekst door een mens of door AI werd geschreven, al valt het verschil sinds de komst van ChatGPT en andere geavanceerde taalmodellen nog moeilijk op te maken. Zogenaamde ‘AI Classifiers’, zoals OpenAI er in het begin van het jaar een beschikbaar stelde, moeten daarbij helpen.
Gebruikers konden – gratis en voor niets – flarden tekst aan de classifier-tool van OpenAI serveren. De tool maakte gebruik van een groot taalmodel om te bepalen hoe waarschijnlijk het was dat er software achter het schrijfsel zit. Uit de tool kwamen antwoorden als ‘waarschijnlijk geschreven door AI’ of ‘waarschijnlijk niet geschreven door AI’. Met andere woorden: de tool van OpenAI was een handig hulpmiddel om te bepalen door wie een tekst geschreven werd. Meer dan een half jaar later haalt OpenAI de tool echter offline omdat hij “niet accuraat” genoeg is.
Niet accuraat genoeg
OpenAI waarschuwde bij het vrijgeven van de tool al dat het niet om een waterdichte AI-detectie gaat: de software kan altijd fout zitten. Zo zou de classifier vaak menselijke tekst aanduiden als AI-gegenereerd. Ook bleek de tool het moeilijk te hebben met machinetekst die wel door mensen was aangepast. Daarbij komt dat de tool, net zoals ChatGPT zelf, overigens, soms wel heel overtuigd was van verkeerde antwoorden.
De problemen die OpenAI’s tool teisteren zijn ook in andere AI-detectoren te vinden. The Register haalt aan dat scholen en universiteiten een AI-detector van Turnitin gebruiken. Die tool zou met 98% zekerheid kunnen zeggen of een tekst origineel en/of geplagieerd is – maar of die dat haalt is de vraag maar, natuurlijk. Studies wijzen uit dat AI-detectie momenteel de gokkans niet overstijgt – als het antwoord ‘ja’ of ‘nee’ is, heb je natuurlijk steeds 50% kans dat je het juiste antwoord geeft.
Terug aan het werk
OpenAI houdt het echter niet voor bekeken en zegt dat ze mechanismen zullen ontwikkelen waarmee AI-gegenereerde content goed mee valt te herkennen. Daarbij hebben ze het niet alleen over tekst, maar ook over beeldmateriaal. Om gebruikers te helpen zien of iets met AI gegenereerd werd, zal OpenAI content bovendien van een watermerk voorzien. Mettertijd zou het bedrijf wel met een verbeterde classifier komen, al is niet helemaal duidelijk wanneer dat op de planning staat.
