GPT-4 weet even veel van oogheelkunde als dokters in opleiding
De medische sector is er één die absoluut baat heeft bij de ontwikkeling van nieuwe technologieën. AI-systemen worden er nu al gebruikt om allerlei ziektes, waaronder kanker, zo efficiënt mogelijk op te lossen. Recent onderzoek toont aan dat AI niet alleen kan helpen op de afdeling oncologie, maar dat het taalmodel GPT-4 ook op de dienst oogheelkunde zou kunnen meedraaien.
Even slim als dokters
Een onderzoek dat gepubliceerd werd in medisch tijdschrift PLOS toont aan dat ChatGPT best wat kennis heeft van oogheelkunde. Tijdens het onderzoek moest de chatbot van OpenAI 87 multiplechoicevragen beantwoorden over het thema. Vijf getrainde oogheelkundigen, drie oogheelkundigen in opleiding en twee jonge dokters zonder specialisatie vulden dezelfde vragenlijst in.
Wat blijkt? GPT-4 geeft op maar liefst 60 van de 87 vragen een correct antwoord. De jonge dokters zonder specialisatie gaven slechts 37 correcte antwoorden. De oogartsen in opleiding haalden gemiddeld 59,7/87, terwijl vier experts gemiddeld 66,4 juiste antwoorden gaven. Eén van de experts bleek niet zo goed bij de les te zijn, en haalde een score van 56 punten.
Geen trainingsdata beschikbaar
“Wat dit aantoont is dat de kennis en het redeneringsvermogen van grote taalmodellen in een oogheelkundige context bijna niet te onderscheiden valt van dat van experts”, zegt Arun Thirunavukarasu, de eerste auteur van de paper. Vooral het vermogen van de chatbot om op ingewikkelde vragen een antwoord te bieden, verbaast. GPT-4 presteert bovendien beter dan andere taalmodellen: PaLM 2 weet 49 vragen correct te beantwoorden. GPT-3.5, de versie van ChatGPT die je ook gratis kan gebruiken, wist slechts 42 vragen correct te beantwoorden.
De vragen werden opgesteld aan de hand van een handboek. Er werden thema’s bevraagd gaande van lichtgevoeligheid tot andere oogproblemen. Opmerkelijk is dat de handboeken waar de nodige kennis in staat niet tot het publieke domein behoren. Strikt genomen wil dat zeggen dat ChatGPT eigenlijk niet kon trainen op de nodige gegevens. De onderzoekers vermoeden dat de chatbot toch iets van training achter de kiezen heeft. Op een andere manier vallen de sterke prestaties namelijk maar moeilijk te verklaren.
Het onderzoek werd midden 2023 uitgevoerd. Sindsdien kwam OpenAI met sterkere taalmodellen, die misschien zelfs beter presteren.
