CrateDB: oneindig schaalbare databank voor IoT-toepassingen
“De vele sensoren in een autonoom rijdende auto kunnen tot 2.000 metingen per seconden uitvoeren. Dat resulteert in een gigantische stroom aan data. Het opslaan van die data is niet de echte uitdaging, het in real-time analyseren van die datastromen is dat wel.”
Aan het woord is Christian Lutz, een van de oprichters en tevens CEO van Crate, een Oostenrijkse start-up die zich sinds 2013 bezighoudt met de ontwikkeling van een openbron databasesysteem genaamd CrateDB.
CrateDB omschrijft zich als een fusie van SQL met webgebaseerde search op basis van gestructureerde en ongestructureerde data. Lutz vertelt dat een typisch gebruikersscenario voor CrateDB ligt bij de in real-time verwerking van machinegegenereerde data.
CrateDB kan miljoenen records binnen milliseconden verwerken voor, bijvoorbeeld, weergave in een webgebaseerd dashboard. “Relationele, ongestructureerde en blob-data zitten bij CrateDB allemaal samen in dezelfde database. En alle data in CrateDB is ‘hot’, dus onmiddellijk opvraagbaar,” aldus Lutz.
Is Crate de zoveelste speler in een toch al overvolle databasemarkt? “Gegevens, en wat je ermee kan doen, zijn altijd aan het evolueren. Het verklaart ook waarom in de wereld van databanken zo veel spelers zijn.” Lutz wijst daarmee vooral op de trend van het internet-of-things (IoT) en machinegegenereerde data.
Gedistribueerd
Een ander belangrijk onderscheid met traditionele databanksystemen is dat CrateDB bedoeld is om gedistribueerd te werken. Dat betekent dat de database over meerdere nodes (servers) verspreid kan worden.
Volgens Lutz kan CrateDB quasi oneindig opschalen: “De meeste gebruikers hebben CrateDB draaien op 10 tot 20 nodes, maar het is al getest tot 1.000 nodes en bleek ook dan nog altijd perfect te schalen.”
Uit benchmarks van de eigen gebruikers moet blijken dat die schaalbaarheid perfect lineair verloopt: als je de snelheid wilt verdubbelen, dan verdubbel je gewoon het aantal nodes waar CrateDB op draait. Normaal is een dergelijke opschaling (scale-out) uitermate complex, maar omdat CrateDB masterless werkt – wat betekent dat alle nodes gelijkwaardig zijn – is dat bij CrateDB niet het geval, legt Lutz uit.
Security monitoring
Een interessante klantencase komt van Skyhigh Networks, een grote Amerikaanse leverancier van real-time cloud security monitoring. Skyhigh Networks houdt namelijk het TCP-netwerkverkeer van 40% van de Fortune 500 bedrijven nauwgezet in de gaten op verdachte bewegingen. Op piekmomenten levert dat maar liefst 100.000 databasetoevoegingen per seconde op.
Lutz: “Skyhigh implementeerde eerst MySQL en Elasticsearch, maar stapte nadien over naar CrateDB en had vanaf dan 75% minder servers nodig en kon tegelijkertijd tot 20 maal hogere prestaties voorleggen.”
Dit artikel is onderdeel van onze “Silicon Valley Business Applications” special, waarbij Smart Business exclusief op de koffie gaat bij enkele van de meestbelovende Amerikaanse ondernemingen en start-ups die met hun technologie de businesswereld op zijn kop willen zetten.
//www.smartbiz.be/achtergrond/170549/ontmoet-9-amerikaanse-start-ups-die-de-b2b-sector-doen-daveren-deel-1/
