Google is enige zoekmachine die nog aan Reddit kan
Google heeft haast een monopolie als het gaat om zoekmachines. Hoewel je de keuze voor een andere zoekmachine kan maken, komen veel gebruikers vanzelf bij Google uit. Daardoor haalt Google, volgens cijfers van Statcounter, maar liefst 91% van alle zoekverkeer binnen. De tweede grootste zoekmachine, Microsofts Bing, is goed voor een kleine 3,74% van de zoekopdrachten. Google lijkt dat monopolie nu te bestendigen: het populaire internetforum Reddit is enkel nog doorzoekbaar via Google, en niet meer door andere zoekmachines.
AI-deal
Eerder dit jaar sloten Reddit en Google een deal met elkaar: de zoekmachinegigant heeft een exclusieve deal, die hen toelaat om Reddit-materiaal te gebruiken voor het trainen van AI-systemen. Dat is erg belangrijk: om een AI-systeem op een goede manier te trainen, is heel wat content nodig die door gebruikers gegenereerd wordt. Reddit was het er niet mee eens dat AI-fabrikanten zomaar konden trainen op gegevens van gebruikers, zonder dat het daar zelf een graantje van kon meepikken. Het is ook om die reden dat Reddit de deur dichtdoet voor andere AI-ontwikkelaars: wie niet betaalt, mag niet aan de slag met de data.
Om daarvoor te zorgen pastte Reddit het robots.txt-bestand van de website aan. Dat is een bestand dat op élke website terug te vinden valt, en dat beregelt welke geautomatiseerde systemen (“robots”) de site mogen bezoeken. Dat bestand kan je raadplegen op reddit.com/robots.txt. Momenteel worden alle robots, zonder uitzondering, geblokkeerd op de volledige website. Dat heeft een onaangename nevenwerking voor zoekmachines. 404Media bericht dat ook de tools die websites helpen indexeren, niet meer werken. Oude resultaten duiken nog wel op in zoekmachines, maar nieuwe resultaten verschijnen niet in zoekmachines als Bing, DuckDuckGo en Yahoo!.
Anticompetitief
Met andere woorden: nieuwe Reddit-posts verschijnen niet in meeste zoekmachines, maar wel in Google. Dat is flink lastig voor die andere zoekmachines: veel internetgebruikers trekken net naar dat platform om online vragen te stellen. Daardoor zijn de antwoorden op heel wat van die vragen ook op Reddit te vinden. Dat Google nu de enige zoekmachine is die die resultaten indexeert, kan daardoor als anticompetitief beschouwd worden.
