Wikipedia biedt dataset aan om van AI-bots af te geraken
Wikipedia wordt al een tijd geplaagd door bots die data van de website schrapen om AI-modellen mee te trainen. Die constante bezoekjes van bots zijn nogal belastend voor de servers, waardoor de onderhoudskosten stijgen en de website trager laadt voor menselijke gebruikers die de online encyclopedie willen raadplegen.
Verre van ideaal dus, maar de Wikimedia Foundation, die de data van Wikipedia beheert, hoopt een oplossing te hebben.
AI-ontwikkelaars krijgen gratis dataset van Wikipedia
Concreet is de Wikimedia Foundation een samenwerking aangegaan met Kaggle, een platform voor datawetenschap dat eigendom is van Google. Samen bieden ze nu een gestructureerde Wikipedia-dataset aan in zowel het Engels als het Frans. Die mag gratis gebruikt worden door AI-ontwikkelaars en is zelfs specifiek gestructureerd voor machine learning.
Het zou wel kunnen dat sommige AI-ontwikkelaars moeilijk doen over het gebrek aan referenties in de dataset, omdat het op die manier onduidelijk is wat de bron van bepaalde informatie is. Volgens de Wikimedia Foundation echter hoeft dit geen probleem te zijn aangezien alle informatie van Wikipedia komt en onder vrije licenties valt.
Voorlopig gaat het slechts om een bètalancering als test, maar als het delen van de dataset de druk van AI-bots op Wikipedia vermindert, kunnen in de toekomst mogelijk nog meer datasets beschikbaar gesteld worden ook. Anders dreigen zich drastischere maatregelen op te dringen.
