Wikipedia kreunt onder AI-crawlers die bandbreedte opslokken
Wikimedia laat in een blogbericht weten dat het bandbreedteverbruik voor multimedia met 50 procent gestegen sinds januari 2024. Dat komt niet door nieuwsgierige lezers, maar artificiële intelligentie. AI-bedrijven gebruiken de openbare content om hun taalmodellen op te laten trainen. De exponentiële groei aan botverkeer kan menselijke gebruikers hinderen. Toen Jimmy Carter in december overleed, zorgde de verhoogde interesse in een video van zijn debat met Ronald Reagan al voor langzamere laadtijden. Normaal kan Wikimedia pieken in menselijk verkeer goed verwerken, maar de onvoorspelbare en massale activiteit van AI-crawlers brengt de infrastructuur in gevaar, klinkt het.
Een groot probleem is dat AI-bots willekeurige en obscure pagina’s scrapen. Waar menselijke lezers vaak dezelfde trending onderwerpen opzoeken. Zo kan Wikimedia pagina’s slim cachen in datacentra dichter bij de gebruiker. Wanneer de online encyclopedie bots over de vloer krijgt, moeten de servers veelal oude, zelden bezochte pagina’s laden vanuit het kerndatacenter. Dat vraagt veel meer rekenkracht en jaagt de kosten omhoog.
65% van verkeer via bots
De impact is zo groot dat 65 procent van het zwaarste verkeer op Wikimedia afkomstig is van AI-crawlers. Het Site Reliability-team moet constant bots blokkeren om de snelheid voor menselijke gebruikers te garanderen, maar de overlast blijft groeien.
Daarnaast ziet Wikimedia een fundamenteel probleem: de crawlers maken massaal gebruik van hun content zonder de juiste bronvermelding. Dat is nefast voor een organisatie die afhankelijk is van donaties en nieuwe gebruikers moet aantrekken om Wikipedia en de gemeenschap in stand te houden. Zoals de foundation zelf stelt, is “de content gratis, maar daarom nog de infrastructuur niet”.
Wikimedia zoekt daarom naar duurzame manieren voor ontwikkelaars en AI-bedrijven om content op een verantwoorde manier te gebruiken. Want één ding is zeker: het AI-verkeer dreigt alleen maar toe te nemen.
