NASA bouwt zoekrobot voor het Deep Web
De geharde internetgebruiker kent het ‘Deep Web’ minstens bij naam. De meesten onder hen denken hierbij spontaan aan de ter ziele gegane criminele marktplaats Silk Road, waar anoniem drugs werd verhandeld. Maar ook wapenhandelaars, huurmoordenaars en pedofielen begroeten elkaar in deze internetonderwereld. Zij die de diepe krochten van het verstopte internet opzoeken doen dat met de TOR-browser (The Onion Router).
Het Diepe Web bestaat echter uit veel meer dan kinderporno en illegale handel. Zo zou 96% van het internet niet alleen verstopt zijn voor de doorsnee gebruiker, maar is het simpelweg niet bereikbaar. Dit komt doordat sommige websites voor Google ontoegankelijk zijn omdat ze achter een private paywall zitten, en dus enkel toegankelijk zijn wanneer je ervoor betaalt, terwijl andere websites voor de zoekrobot simpelweg de moeite niet lonen om te indexeren. Denk hierbij aan wetenschappelijke data.
Samen met het Defense Advanced Research Projects Agency (DARPA) wil NASA’s Jet Propulsion Laboratory deze wetenschappelijke gegevens vindbaar maken door middel van een eigen zoekrobot. Alle data die NASA krijgt teruggestuurd van zijn ruimtetuigen belandt namelijk ergens op dit Deep Web.
Uiteindelijk zal deze zoekrobot beschikbaar worden gesteld voor iedere internetgebruiker. “Het doel is niet om een geweldige zoekmachine te bouwen voor criminele doeleinden, verstopt op het web,” zegt Chris Mattmann van Memex. De datapaketten die NASA ontvangt van zijn ruimtetoestellen zijn echter geformatteerd op een manier waar Google niet mee overweg kan, waardoor deze informatie verzeild geraakt op het Deep Web; zo’n 10 tot 30 muisklikken verwijderd van waar de normale gebruiker zoekt.
Met de nieuwe zoekrobot Memex wordt deze informatie beschikbaar binnen 1 tot 4 muisklikken. Verwacht echter niet dat je morgen al een volledig functionerende zoekfunctie kan gebruiken, zegt Mattmann: “Memex ondervindt dezelfde groeipijnen als alle andere zoekmachines”.
Wie een idee wil krijgen van wat er mogelijk zal worden, kan nu al terecht bij Internet Archive’s Wayback Machine. Deze zoekrobot geeft je de mogelijkheid om eerdere versies van bestaande en verwijderde websites te bekijken. In essentie bekijk je dan informatie op het Deep Web.
