Dataset voor AI-beeldgenerators bevat illegale beelden

Onderzoekers van Stanford University hebben de datasets voor AI-beeldgenerators onder de loep genomen. Ze moeten vaststellen dat een populaire dataset ook beelden van kindermishandeling en kindermisbruik laat zien. De bewuste dataset wordt gebruikt door Stable Diffusion van StabilityAI en Googles Imagen.

LAION-5B

Concreet gaat het om de LAION-5B-dataset. Die dataset helpt er mee voor zorgen dat systemen als Stable Diffusion en Imagen beelden kunnen genereren. De dataset bestaat uit 5,85 miljard verschillende beeld-en-tekstparen. In tegenstelling tot wat meeste mensen denken worden de beelden niet verzameld in de dataset. LAION-5B is in feite een index, waar je relatieve links naar afbeeldingen op het internet kan terugvinden, samen met hun beschrijving. Van de 5,85 miljard verwijzingen blijken er 1679 illegaal te zijn. Het gaat dan om beelden van kindermishandeling en kindermisbruik.

Uitgelicht artikel Getty Images en Stable Diffusion trekken naar rechtbank

De onderzoekers bekeken de beelden niet allemaal afzonderlijk, maar gingen naar zogenaamde ‘image hashes’ kijken. Daarvoor worden beelden, met een algoritme, omgezet naar een soort van code. Die laat de onderzoekers toe om te bepalen wat er ongeveer op de afbeeldingen staat. Die codes werden door PhotoDNA gehaald. Die tool is in staat om, op basis van zo’n image hash, vergelijkingen te maken met andere beelden op het internet. Werd een beeld ooit gerapporteerd omdat het illegaal is? Dan wordt dat meteen bijgehouden in een database, wat de vergelijkende test heel wat haalbaarder maakt.

Zero tolerance

LAION, de non-profitorganisatie die de dataset beheert, laat aan Bloomberg weten dat het een zero-tolerancebeleid voert tegen schadelijke content. De datasets worden dan ook voorlopig offline gehaald, zodat de illegale beelden eruit gehaald kunnen worden.

Bij Stability AI laten ze weten dat Stable Diffusion inderdaad op delen van LAION-5B getraind werd, maar dat zoiets niet noodzakelijk een probleem is. De AI-aanbieder maakt zich sterk dat de beeldengenerator voldoende verfijnd en bijgestuurd werd. Daardoor zou de veiligheid van gebruikers niet in het gedrang komen.

Ook de onderzoekers laten weten dat de illegale beelden niet noodzakelijk voor problemen zorgen. Aangezien het om zo’n klein aandeel aan illegale afbeeldingen gaat, beïnvloeden ze de output van modellen niet per se. Wel bestaat de kans dat de AI-modellen ongewenste informatie uit de afbeeldingen haalde. Dat risico wordt voor de toekomst ingeperkt door de dataset op te schonen.