Apache Hadoop 2.3 schraubt am HDFS

BigData-Framework und „Java-Exportschlager“ Apache Hadoop ist in Version 2.3 erschienen. Im Mittelpunkt des Release standen Arbeiten am Hadoop Distributed File System, kurz HDFS. Zum Einen wird nun die so genannte Heterogeneous Storage Hierachy unterstützt, zum anderen verfügt HDFS jetzt über In-Memory-Cache via Datanodes. Dadurch können beispielsweise MapReduce, Hive oder Pig jetzt das Cachen von Memory anfordern. Einen Überblick über HDFS gibt es hier.

Hadoop 2.3 bringt auch Fortschritt in Sachen ResourceManager Automatic Failover (YARN-149) für das Subprojekt YARN, das seit Hadoop 2.0 existiert und auch als MapReduce 2.0 bezeichnet wird. Die Arbeiten an YARN-149 sollen mit dem Erscheinen von Hadoop 2.4 abgeschlossen sein, heißt es in der Bekanntmachung. Alle Änderungen finden sich in den Release Notes.

Bereits jetzt stehen die ersten Pläne für das nächste Release 2.4 fest: Unterstützung von ACLs und Rolling Updates in HDFS und eine YARN Generic Application Timeline gehören dazu. Auf den im Mai stattfindenden BigData Days (parallel zur JAX) wird Hadoop ebenfalls wieder eine wichtige Rolle spielen. Los geht’s am Montag (12. Mai) mit dem Hadoop 2 Boot Camp von Bernd Fondermann.