Databanken en Big Data

Op dinsdag 13/3 organiseert ZDNet en Smart Business een gratis seminarie over Big Data in het teken van onze populaire Business Meets IT-seminariereeks. Meer informatie over het mobile business seminarie vindt u op de website van Business Meets IT.

Hoe springen de traditionele aanbieders van databanksoftware om met de nieuwe wereld die Big Data heet? Want de wereld verandert constant en gegevens worden omvattender. Big Data betekent heel vaak ‘vele kleine gegevens’.

Uw bedrijf verwerkt gegevens van klanten, van leveranciers, van facturen en van producten. Met behulp van een softwaretoepassing slaat u die gegevens op in een databank. Dat gaat goed, maar de wereld verandert. Op vraag van grote organisaties die een massa gegevens willen opslaan en analyseren, creëerden IT-bedrijven en openbrongroepen nieuwe manieren om gegevens op te slaan. Niet alleen voor gestructureerde, maar ook voor ongestructureerde gegevens.

Ongestructureerd vs gestructureerd

Eerst nog even het verschil tussen gestructureerde en ongestructureerde data verduidelijken. U werkt met een boekhoudpakket of een ERP-suite. De onderliggende databank bevat woorden (namen, adressen, codes, …) en getallen (nummers en bedragen). Die bevinden zich in tabellen met nette kolommen. De informatici noemen dit gestructureerde gegevens.

Maar uw personeel slaat ook andere zaken, zoals digitale foto’s van personen, huizen, machines en schadegevallen bijvoorbeeld. Of PDF-bestanden met handleidingen, verslagen of prijsoffertes, geografische gegevens (de GPS-coördinaten van reizigers met een smartphone), geluidsbestanden, video-opnames van bewakingscamera’s, logbestanden van websites of digitale röntgenopnames. Dit zijn allemaal ongestructureerde gegevens.

Hoe gaan de leveranciers hiermee om? “Oracle heeft zijn Relational Database Management System (RDBMS) uitgebreid met de mogelijkheid om ook multimediagegevens op te slaan, op precies dezelfde manier als gestructureerde gegevens”, vertelt Dieter Deramoudt van Oracle. “Zo is het niet meer nodig om een deel van de gegevens in een databank op te slaan en een ander deel in het bestandssysteem. Alle gegevens worden opgeslagen in de databank.”

Metadata

Databanken, zoals die van Oracle, worden vandaag gebruikt in ziekenhuizen om medische beelden en verslagen op te slaan. Ze worden ook gebruikt door uitgeverijen die zowel gestructureerde gegevens als foto’s en video’s opslaan. “Het RDBMS van Oracle herkent ook metadata, bijvoorbeeld, bij een foto, de datum en tags. Het is mogelijk om op die metadata te zoeken en te sorteren.”

Ook concurrenten, zoals Microsoft met SQL Server, bieden de combinatie aan van diverse soorten gegevens. “De bedrijven die gebruikmaken van Microsoft SQL Server geven er soms de voorkeur aan om de combinatie te maken: gestructureerde gegevens in de databank, ongestructureerde in het bestandssysteem. In de databank is er een link naar die gegevens”, vertelt Ritchie Houtmeyers van Microsoft. “Dat levert dezelfde functionaliteit, is technisch eenvoudiger en ook goedkoper.”

Grote hoeveelheden gegevens

Niet alleen slaat u gegevens op van een ander type dan vroeger, u slaat ook veel grotere hoeveelheden op, zoals positiegegevens van mobiel toestellen. Misschien analyseert u wat er over u gezegd wordt op sociale media.

Ook logbestanden van websites worden snel groot. “Big Data is vaak de verzameling van veel kleine gegevens”, vertelt Dieter Deramoudt van Oracle. Het bedrijf levert specifieke toepassingen om hiermee om te gaan, zoals Oracle Big Data Appliance, dat combineerbaar is met Oracle Multimedia, een andere toepassing.

Het gebruik van aangepaste toepassingen is meer dan ooit nodig. “Sterrenkundigen maken foto’s van de nachtelijke hemel. Die grote aantallen foto’s moeten geanalyseerd worden”, aldus Ritchie Houtmeyers van Microsoft.

Voor dergelijke gevallen, waar grote hoeveelheden informatie moeten teruggebracht worden tot hanteerbare hoeveelheden, ontwikkelde Microsoft HDInsight, een tool in de cloud die gebruikmaakt van Hadoop, een openbrontoepassing waarmee applicaties grote hoeveelheden (ongestructureerde) gegevens kunnen verwerken.

Gegevensanalyse

De gegevens die u opslaat, wilt u niet alleen individueel kunnen opzoeken, u wilt ze ook analyseren. Misschien wilt u real-time de gegevens over het energieverbruik van uw productiemachines analyseren?

Misschien wilt u in de opgeslagen teksten woorden kunnen opzoeken? “Stel, een bezoeker van een webwinkel bekijkt bepaalde producten en maakt dan een keuze. De toepassing op de website noteert in het logbestand van de webwinkel welke producten de klant bekeken heeft”, aldus Ritchie Houtmeyers van Microsoft. “Een programma analyseert met speciale algoritmen het logbestand en beseft dat bepaalde producten vaak samen bekeken worden.”

Dat logbestand wordt ook gebruikt voor de analyse van de gebruiksvriendelijkheid van de website. “Aan het logbestand kunt u zien waar klanten, die van plan waren om te bestellen, afhaakten”, stelt Houtmeyers. “Op basis van deze informatie kan de website aangepast worden. Een kleine moeite om tot een grotere omzet te komen.”

eze nieuwe vorm van Business Intelligence heet ‘Data Analyse’. De specialist in kwestie is een ‘Data Scientist’. Hij of zij analyseert de gegevens en zoekt patronen. Men zoekt informatie die nuttig is voor het bedrijf.

Technische uitdaging

Om aan al deze eisen te voldoen, moesten nieuwe technische oplossingen gecreëerd worden. En dat maakt de keuze voor de klant er niet gemakkelijker op. “Gebruikersaantallen voor toepassingen variëren van honderden tot vele duizenden”, stelt Thijs Feryn van hostingbedrijf Combell.

“Toch moet de performantie gegarandeerd blijven (responstijden), en ook mag de beschikbaarheid (availability) van het systeem niet in het gedrang komen. En de veiligheid (security) natuurlijk ook niet”, aldus Feryn. “Als dienstenbedrijf moet u overleggen met uw klanten, en hun gegevens analyseren en het gebruik dat ze ervan willen maken. Kortom, hen helpen met het bepalen van hun strategie voor gegevensopslag.”