Firmen wie Facebook, Yahoo! und Twitter müssen riesige Datenmengen im Petabyte-Bereich speichern und analysieren. Diese häufig unstrukturierten Daten (wie z.B. Logfiles) lassen sich nur schlecht und zu hohen Kosten in klassischen relationalen Datenbanksystemen wie Oracle oder MySQL ablegen. Im Vortrag stellen wir Apache Hadoop vor, welches als Open Source Projekt aus einer Entwicklung bei Yahoo! und Ideen von Google hervorgegangen ist und sich zur führenden Lösung für das Handling von „Big Data“ entwickelt hat. Hadoop erlaubt es große Rechnercluster zu einem verteilten Dateisystem zusammen zu schließen und für parallel verarbeitete, fehlertolerante Analysen zu nutzen.

Im Rahmen des Vortrags werden wir auf die Architektur von Apache Hadoop mit dem verteilten Dateisystem HDFS und dem MapReduce Framework eingehen und zeigen wie man mit Java verteilte Anwendungen mit MapReduce schreibt. Weiterhin wollen wir die Unterprojekte Hive und HBase vorstellen, die eine SQL-ähnliche Anfragesprache und eine spaltenbasierte Datenbank auf Basis von Hadoop bieten.

Unser Sprecher

Gunnar Schröder ist für die T-Systems Multimedia Solutions GmbH als Technical Consultant tätig und promoviert am Lehrstuhl für Datenbanken an der Technischen Universität Dresden. Er beschäftigt sich intensiv mit Data Warehouse und Business Intelligence Lösungen für Unternehmen und forscht über Empfehlungssysteme und Data Mining.

Medien

Folien: Big Data