Q&A: Wat u moet weten over big data

1. Wat is big data (en wat is het niet)?

We spreken van big data als uw gegevensverzameling niet meer te hanteren is met gangbare technologie. Onder het hanteren van data valt het opslaan van de data, het versturen en ontvangen van de data, het raadplegen en gebruiken van data, maar eveneens het verwerken, analyseren en (grafisch) weergeven ervan. Deze definitie geeft meteen aan dat big data verder gaat dan opslagsystemen. Het is dus niet alleen hardware, maar ook software.

2. Vanwaar komt de aandacht voor big data?

De voornaamste veroorzakers van big data vormen het groeiend aantal mobiele apparaten (smartphones, tablets), snelle online verbindingen (mobiel en vast), de toenemende digitalisering en social media messaging, bellen over IP, downloaden van alles en nog wat, online games, online winkelen, digitale films, foto’s en muziek en niet te vergeten sociale media als LinkedIn, Twitter, Facebook en Hyves: we leven in een tijd waarin we extreem veel data produceren en verplaatsen.  We creëren elke twee dagen net zoveel data als we in de periode vanaf het ontstaan van de mensheid tot en met 2003 hebben gedaan.

3. Heeft u een big data-probleem?

Wanneer juist een eventueel probleem of uitdaging rond Big Data ontstaat, is per organisatie anders. De grens (in hoeveelheid opslagruimte, de hoeveelheid gegevens of verwerkingssnelheid) hangt of van uw infrastructuur en hoe u gekozen hebt gegevens op te slaan en te verwerken. Zo zal de ene organisatie afhaken bij 1 terabyte (TB) aan data en een ander bij 1 petabyte (PB) aan data. De ene organisatie raakt de controle kwijt bij 10.000 records in een gestructureerde database, een ander heeft met 1 miljard records nog geen probleem. Zelfs als klein bedrijf of zelfstandige kunt u een Big Data probleem ervaren. 

4. Wat zijn de drie V"s in Big Data?

De verschillende aspecten van Big Data worden vaak samengevat onder de drie V’s: volume, velocity en variety, waarbij het ook hier om de combinatie van hard- en software gaat. Soms komt hier ook veracity bij, dat de nadruk legt op hoe waarheidsgetrouw al die data wel is.

• Volume (hoeveelheid). Hoe meer data, des te beter of nauwkeuriger het wordt om voorspellingen te doen en trends te bepalen. Veel data daadwerkelijk analyseren werkt beter dan met een statistisch model en een kleine hoeveelheid data een voorspelling te doen. Bij volume gaat het dus om miljoenen of zelfs miljarden compacte of omvangrijke gegevens.
• Velocity (snelheid). De snelheid waarmee data gegenereerd wordt,  is zeer hoog en neemt net als de hoeveelheid data alsmaar toe. Data is vaak bijzonder waardevol als deze nagenoeg realtime geanalyseerd en gebruikt kan worden.
• Variety (diversiteit). Bij Big Data gaat het niet om gegevens van een enkel datatype, zoals kredietkaartgegevens of -emailadressen. Het gaat om een grote diversiteit van redelijk losstaande data van allerlei datatypen die gecombineerd moeten worden.

5. Wat is de impact voor uw infrastructuur?

Om te voldoen aan de eisen die de drie V’s voor Big Data stellen, is een zware maar dynamische en elastische ICT-infrastructuur nodig. Hierbij spelen opslagsystemen (Big Data Storage), processorcapaciteit (Big Data Servers) en netwerkcapaciteit (Big Data Networks) een rol. Soms zien we overigens ook wel eens de indeling Big Data Storage, Big Data Analysis en Big Data Speed.

• Big Data Storage. Alle data moet uiteraard worden opgeslagen en hiervoor is veel storage nodig. De data zelf bestaat wellicht uit kleine brokjes maar alle data samen vraagt vaak een behoorlijk datacenter (intern of extern) met opslagcapaciteit.
• Big Data Servers. Aan de pure opslag van Big Data hebben we niet veel. Met Big Data Analytics worden de data geanalyseerd en gecombineerd tot nieuwe data. Hiervoor is rekenpower nodig in de vorm van servers.
• Big Data Network. Veel Big Data wordt getransporteerd vanaf web servers naar het back office of blijft binnen een organisatie. Snelle netwerken zijn daar niet zo’n probleem. Als Big Data echter over het internet moet worden verplaatst, kost dat capaciteit op vaste en mobiele netwerken. Om gigantische hoeveelheden data te transporteren zijn niet alleen snelle netwerken nodig, maar ook slimme apparatuur die de noodzakelijke hoeveelheid data die daadwerkelijk getransporteerd wordt terugdringt en daardoor snelheid oplevert.