Hadoop 2.4.0 verfeinert YARN Engine

Hartmut Schlosser

Das Big-Data-Framework Hadoop aktualisiert auf Version 2.4.0. Satte 411 JIRA-Issues wurden bearbeitet, was Verbesserungen im Filesystem HDFS und in der YARN-Architektur mit sich bringt.

Neu ist die Unterstützung von Access-Control-Listen, mit denen das Berechtigungsmodell von HDFS um beliebige Kombinationen von User-Gruppen erweitert wird. Https ist jetzt auf sämtlichen HDFS-Komponenten möglich, beginnend bei WebHDFS über HsFTP bis zu Web-Interfaces. Um Aktualisierungen großer Hadoop-Installationen mit mehreren tausend Nodes zu beschleunigen, wurde die Möglichkeit laufender (rolling) Upgrades eingeführt.

Ein langfristiges Ziel besteht darin, den YARN ResourceManager in Sachen Hochverfügbarkeit zu verbessern – mit dem automatischen Failover-Support in Hadoop 2.4 ist nun der erste Schritt in diese Richtung getan. Service Licence Agreements (SLA) werden in YARNs CapacityScheduler unterstützt. Ein Application History Server und ein Application Timeline Server vereinfachen die Lancierung neuer Anwendungen in YARN.

Hadoop 2.4 ist das zweite Update nach der offiziellen Freigabe der Hadoop-2-Architektur, in der die YARN Engine eingeführt wurde, die als Weiterentwicklung des MapReduce-Ansatzes gilt. Bei YARN („yet another resource negotiator“) geht es darum, die ursprüngliche MapReduce-Komponente aus Hadoop als optionales Plug-in herauszulösen und alternative Ausführungsalgorithmen zu ermöglichen. Etwa kann das bei MapReduce verwendete Batch-Modell so durch interaktivere Ansätze wie Apache Storm oder Services wie Apache HBase ersetzt werden.

Hadoop 2.4 steht unter http://hadoop.apache.org/ zum Download bereit. Auf dem Hortonworks-Blog gibt Arun Murthy auch schon einen Ausblick, was uns mit Hadoop 2.5 erwartet. Auf dem Programm stehen die Erweiterung des Rolling-Upgrade-Features, Admin-spezifische Labels für Server in YARN und Support für das automatische Sharen von Applikations-Artefakten in YARNs verteiltem Cache.  

 

 

 

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Content-Stratege, IT-Redakteur, Storyteller – als Online-Teamlead bei S&S Media ist Hartmut Schlosser immer auf der Suche nach der Geschichte hinter der News. SEO und KPIs isst er zum Frühstück. Satt machen ihn kreative Aktionen, die den Leser bewegen. @hschlosser
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: