OpenAI: kleine kans dat Sora 2 toch seksuele deepfakes maakt

Volgens een interne evaluatie is dat risico 1,6 procent wanneer de tool gebruikt wordt met iemands gezicht of stem. In een zogenoemde system card, een veiligheidsrapport dat OpenAI publiek maakt bij nieuwe modellen, staat dat Sora 2 een “robuuste safety stack” bevat. Daarbij worden prompts en output gefilterd om ongepaste video’s te blokkeren. Toch bleek uit duizenden stresstests met “adversarial prompts” dat de software niet altijd alle regels weet te handhaven.

In 1,6 procent van de gevallen kon er toch expliciete content worden gegenereerd met de gelijkenis van een persoon. Vooral het idee dat gebruikers zichzelf of anderen in een seksuele deepfake zouden kunnen terugzien, is behoorlijk zorgwekkend. Zulke beelden worden al jaren misbruikt, vooral tegen vrouwen.

Cameo-functie onder de loep

De kans op misbruik speelt vooral bij Sora’s Cameo-functie, waarmee je je eigen gezicht en stem kunt uploaden om in AI-video’s te verschijnen. Volgens OpenAI behoudt de gebruiker de controle: je bepaalt zelf wie jouw cameo kan gebruiken, je kunt toegang intrekken en alle video’s waarin je verschijnt blijven zichtbaar en verwijderbaar.

Toch roept de aanpak vragen op. OpenAI’s privacybeleid noemt de opslag en verwerking van gezichts- en stemdata van Sora namelijk niet expliciet. Hoe lang die data bewaard wordt en hoe die precies beveiligd is, blijft onduidelijk.

Sora 2 is momenteel enkel toegankelijk via een invite-only programma en beschikbaar op iOS. Video’s van publieke figuren kunnen standaard niet gegenereerd worden, behalve wanneer het gaat om overleden personen. OpenAI benadrukt dat het systeem continu verfijnd wordt: “We leren van hoe mensen Sora gebruiken en passen de balans tussen veiligheid en creatieve vrijheid verder aan.”