Nieuws

Onderzoekers kunnen zien of ChatGPT tekst schreef

GPT Store
© Unsplash / Levart Photographer
Tekst die geschreven werd door AI is steeds moeilijker als dusdanig te herkennen. Onderzoekers hebben nu een tool ontwikkeld waarmee ze kunnen bepalen of AI een tekst al dan niet schreef.

Generatieve AI staat inmiddels zó ver: ChatGPT kan het huiswerk van je kinderen gemaakt hebben en de leerkracht zal het in meeste gevallen niet geweten hebben. Dat kan nogal eens voor problemen zorgen: hoe zijn we er zeker van dat studenten hun materie nog wel bestuderen en niet gewoon een paper uit ChatGPT halen?

Heel wat mensen zouden geneigd zijn om een van de vele tools, die te vinden zijn op internet, eens uit te proberen. Zulke ‘AI checkers’ slaan echter vaak de bal mis en classificeren materiaal ten onrechte in de AI-categorie. Het is dus geen goed idee om zulke tools in het onderwijs te gebruiken. Wil je wel accuraat voorspellen of AI aan een tekst schreef? Dan heb je daarvoor een onderzoeksteam van de universiteit van Kansas voor nodig.

De onderzoekers zijn er in geslaagd om machinaal leren voor dat doel in te zetten, zij het voor een specifiek type academische teksten.

Onderzoek

Voor het onderzoek werden eerst 64 wetenschappelijke perspectiefartikels geselecteerd. Aan ChatGPT werd gevraagd om die onderzoeken te herschrijven, waardoor er uiteindelijk 1,276 paragrafen aan materiaal door het AI-systeem gegenereerd werden – dat is goed voor 128 artikels. Die dataset werd gebruikt om het lerende systeem te trainen.

Een tweede dataset, bestaande uit zowel echt als gegenereerd materiaal, werd daarna gebruikt om de accuraatheid van het systeem af te toetsen. Van 30 echte teksten en 60 ChatGPT-schrijfsels weet het systeem élke keer of de tekst geschreven werd door AI. Wanneer je paragrafen laat aftoetsen wordt het systeem iets minder zeker: in 92% van de gevallen herkent het systeem de AI.

Conclusie

Dat onderzoekers er in geslaagd zijn om ChatGPT-tekst te herkennen valt gerust indrukwekkend te noemen. Het wil echter niet zeggen dat AI overal herkend kan worden. Volgens de onderzoekers werkte het in dit geval omdat een academische tekst vrij specifiek is en een vrij specifieke opbouw kent.

Uitgelicht artikel EU invoerrechten EU wil label bij door AI gegenereerde content

Daarbij zijn er enkele markeerders die aangeven dat het om een echte schrijver gaat. Zo gebruiken menselijke schrijvers meer voegwoorden zoals ‘hoewel’, ‘maar’ of ‘dankzij’. Of de technologie ook op andere tekstsoorten kan toegepast worden, moet uitgewezen worden door vervolgonderzoek.

Gerelateerde artikelen

Volg ons

TechPoll

Zou jij plaatsnemen in een zelfrijdende Waymo-taxi?

Laden ... Laden ...
De beste elektronica-acties van februari

De beste elektronica-acties van februari

Bekijken bij bol.com

Business