Hadoop blaast tien kaarsjes uit
Het Apache Hadoop-project werd tien jaar geleden vernoemd naar de pluchen olifant van Cutting zijn zoontje. De opensourcesoftware maakt gebruik van Google’s File System (GFS) en de MapReduce execution engine en wordt door velen aanzien als een belangrijke drijfkracht voor de populariteit van big data.
Eigen project
Oorspronkelijk behoorde de Hadoop-software bij het Apache Nutch-project, maar toen Cutting voor Yahoo! begon te werken, kreeg Hadoop een eigen project. Met behulp van een tiental ingenieurs en de infrastructuur van Yahoo! was de software in 2007 vrij stabiel en kon het systeem petabytes aan data verwerken.
Hadoop vergemakkelijkte het werk voor ontwikkelaars en het duurde dan ook niet lang alvorens de software buiten Yahoo! werd gebruikt. Bovendien maakten verschillende projecten gebruik van Hadoop, zoals Apache Pig, Apache Hive en Apache HBase, en werd de software vlijtig gebruikt door academische onderzoekers.
Breder toepassingsgebied
In 2008 kreeg Cutting voor de eerst de vraag om de software ook buiten de internet- en academische wereld te gebruiken. Ondanks het feit dat de Hadoop-ontwikkelaar dacht dat dit nooit een succes zou worden, werd Cloudera opgericht. Dit bedrijf startte met het aanbieden van Hadoop voor traditionele bedrijven. Nu, zeven jaar na de oprichting van Cloudera, wordt Hadoop in erg veel organisaties gebruikt.
“Tien jaar geleden had ik nooit verwacht dat Hadoop een kritiek onderdeel zou vormen voor zo’n belangrijke trend. Ik ben erg verbaasd en trots over hoe ver we zijn gekomen en ik kijk uit naar de impact die Hadoop zal blijven hebben,’ aldus Cutting.
