Neue Version von Apache Hadoop soll Deep Learning vereinfachen

Apache Hadoop 3.2.0 mit neuen Funktionen für Deep Learning

Maika Möbus

© shutterstock / joreks

Die Apache Software Foundation hat die Veröffentlichung von Apache Hadoop 3.2.0 bekannt gegeben. Das Open-Source-Framework für Big Data enthält einige neue Features mit dem Fokus auf Deep Learning.

Das neue Release von Apache Hadoop wurde vorgestellt: Apache Hadoop 3.2.0 bringt eine erweiterte Cloud-Konnektivität mit und soll für Deep Learning und Langzeitanwendungen geeignet sein. Neben neuen Features enthält es über 1.000 Änderungen.

Neue Features

Das neue Feature Hadoop Submarine soll es Datenanalysten ermöglichen, Deep-Learning-Modelle – z. B. in TensorFlow – direkt auf dem Hadoop-YARN-Cluster, auf dem sich die Daten befinden, zu entwickeln, zu trainieren und zu deployen. Durch die hinzugefügte Unterstützung für Node Attributes in YARN können multiple Labels auf den Nodes auf Basis ihrer Attribute vergeben werden. Der neue Storage Policy Satisfier unterstützt HDFS-Applikationen (Hadoop Distributed File System), um Blöcke zwischen Speichertypen zu verschieben.

Die Unterstützung von Azure Datalake Gen2 Storage wird durch einen Konnektor für ABFS (Azure Blob File System) im neuen Release hinzugefügt. Zusätzlich soll der S3A-Konnektor verbessert worden sein. Dadurch soll eine höhere Resilienz gegenüber gedrosseltem IO von AWS S3 und DynamoDB ermöglicht werden. Über das YARN-Native-Service-API und -CLI sind nun In-Place Upgrades für langlaufende Container möglich.

Apache Hadoop ist ein Open-Source-Framework für skalierbare verteilte Anwendungen, das vor 11 Jahren zum Top-Level-Projekt der Apache Software Foundation wurde. Viele Unternehmen setzen es zur Analyse von Big Data ein, darunter AWS, Apple, Facebook, Google und Microsoft.

Der Eintrag im Apache-Blog bietet eine Übersicht über die Neuerungen. Aus der Dokumentation gehen alle Änderungen mit detaillierteren Informationen hervor.

Geschrieben von
Maika Möbus
Maika Möbus
Maika Möbus ist seit Januar 2019 Redakteurin bei Software & Support Media. Zuvor studierte sie Soziologie an der Goethe-Universität Frankfurt und an der Johannes Gutenberg-Universität Mainz.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: