In immer mehr Unternehmen halten BigData-Lösungen Einzug. Im Zuge dessen ist Hadoop in aller Munde und es existieren verschiedenste Vorstellungen davon, was Hadoop leisten kann oder wie sich andere BigData-Technologien wie zum Beispiel MapReduce, HBase oder Drill in Bezug zu Hadoop einordnen.

Dieser Artikel gibt einen Überblick darüber, was eigentlich Hadoop ist und warum Hadoop heutzutage kaum mehr allein eingesetzt wird, um eine BigData-Lösung umzusetzen. Der Grund dafür ist ein vielfältiges Open-Source-Ökosystem, in dem sich rund um Hadoop zahlreiche Technologien entwickelt haben, von denen in diesem Artikel ebenfalls ausgewählte Beispiele beleuchtet werden. Eines sei vorweg gesagt: Der Ozean der BigData-Technologien ist groß und den Standard-Technologiestack für BigData gibt es gegenwärtig nicht, auch wenn einige Projekte durch ihre Reife und Unterstützung großer Firmen herausstechen.

Das Apache Hadoop Projekt [1] selbst entwickelt drei Kerntechnologien, die in Cluster-Applikationen Verwendung finden: Das Hadoop Distributed File System (HDFS) ist ein verteiltes Dateisystem, das es erlaubt, Dateien ausfallsicher über mehrere Server hinweg abzulegen. Mit MapReduce bietet Hadoop ein Framework, mithilfe dessen verteilte Batch-Prozesse auf einer abstrakten Ebene beschrieben werden können. YARN komplettiert die zur Verfügung gestellten Technologien mit einer Komponente zur Verwaltung von Cluster-Ressourcen und zum Scheduling von verteilten Anwendungen.

Während auf klassischen relationalen Datenbanksystemen mit SQL eine mächtige Anfragesprache für automatisierte Auswertungen oder manuelle Datenanalyse zur Verfügung steht, lassen verteilte Datenbanken oft nur sehr eingeschränkte Anfragen zu. Insbesondere für Anwendungsfälle wie Business Intelligence oder interaktive Datenexploration ist das allerdings nicht ausreichend. Deshalb existieren mittlerweile eine Reihe sogenannter SQL-on-Hadoop-Lösungen.

Eines der ersten und bekanntesten SQL-on-Hadoop-Projekte ist Apache Hive. Hive ermöglicht Zugriff auf verteilte Daten über die SQL-ähnliche Sprache HiveQL. Dazu müssen die Daten allerdings vorher in Hive-Tabellen überführt werden. Die HiveQL-Anfragen werden anschließend in MapReduce-Jobs übersetzt. Dadurch sind Hive-Anfragen schwerfällig und in vielen Fällen für die Zielanwendungsfälle zu langsam. Diesem Problem begegnete Hortonworks 2013 mit der Stinger-Initiative, die das Ziel hatte, Hive-Queries zu beschleunigen und HiveQL um weitere essentielle SQL-Konstrukte zu erweitern. 2014 kündigte Hortonworks die Folgeinitiative Stinger.next an, um Hive-Anfragen durch die Nutzung von Apache Spark in den meisten Fällen unter einer Sekunde beantworten zu können [5].

Eine weitere SQL-on-Hadoop-Lösung ist das von Facebook als Open-Source veröffentlichte Projekt Presto [6]. Es zeichnet sich insbesondere durch die vorhandene Anbindung an die ebenfalls von Facebook als Open-Source veröffentlichte verteilte Datenbank Apache Cassandra als Datenquelle aus. Die Design-Zielstellung von Presto ist es, durch eine darauf ausgerichtete Architektur interaktive Anfragen zu ermöglichen, welche hauptsächlich daraus resultierte, dass Apache Hive dies in seinen ersten Versionen aufgrund langsamer Anfragen nicht leisten konnte. Durch die Stinger-Initiative hat Hive aber in diesem Bereich aufgeholt.

Einer der neuesten Vertreter im SQL-on-Hadoop-Kosmos ist das Apache-Inkubator Projekt Drill [7]. Die Alleinstellung dieses Projektes ist das Ermöglichen von Day-Zero-Analysen. Das bedeutet, dass das Schema der Daten beim Zugriff auf diese inferiert wird und die Daten vorher weder mit einem Schema belegt noch in ein spezielles Format importiert werden müssen. Das gilt zumindest solange, wie sie in einem von Drill unterstützten Format vorliegen. Drill erlaubt dabei auch Zugriff auf verschachtelte Elemente, wenn beispielsweise JSON-Dateien untersucht werden. Neben diversen Dateiformaten wie TSV, JSON oder Parquet unterstützt Drill auch Apache HBase out-of-the-box als Datenquelle. Das Anbinden weiterer Datenquellen sieht Drill über einen plugin-artigen Mechanismus bereits vor. Drill ist ein äußerst vielversprechendes Projekt und steht seit kurzer Zeit zum Ausprobieren bereit.