Google liet onervaren factcheckers antwoorden van Gemini AI beoordelen
Volgens een rapport van TechCrunch zouden freelancers, aangesteld via outsourcingfirma GlobalLogic, worden gevraagd om antwoorden van Gemini AI te beoordelen, zelfs wanneer ze niet over de nodige expertise beschikken. Nochtans konden dergelijke reviewers vroeger complexe prompts overslaan (zoals medische of juridische vragen). Nu zou blijken dat Google ingehuurde factcheckers verplicht om álle vragen te evalueren, ook als die buiten hun vakgebied liggen. Volgens TechCrunch heeft Google niet gereageerd op hun berichtgeving.
Nieuwe richtlijnen zorgen voor controverse
Het lijkt erop dat Google de richtlijnen voor reviewers van Gemini AI gewijzigd heeft, wat voor onduidelijkheid kan zorgen. Volgens de richtlijnen moeten reviewers alleen de onderdelen beoordelen die ze begrijpen en noteren waar ze onvoldoende kennis over hebben. Ze kunnen prompts alleen overslaan als de vraag onvolledig is of potentieel schadelijke inhoud bevat.
Een anonieme reviewer reageerde cynisch op die laatste aanpassing: “Het idee van overslaan was toch om de nauwkeurigheid te verhogen door het aan iemand met expertise over te laten?”, klinkt het.
Betrouwbaarheid op het spel
Dit roept natuurlijk serieuze vragen op over de betrouwbaarheid van Gemini. Als complexe vraagstukken zoals programmeercode of medische vraagstukken worden beoordeeld door leken, dreigt de evaluatie minder accuraat te worden, wat de output van de AI negatief kan beïnvloeden.
