MapReduce-Alternative Apache Tez wird Top-Level-Projekt

Hartmut Schlosser

Das Big-Data-Framework Tez wird Apache-Top-Level-Projekt. Das ursprünglich von Hortonworks entwickelte Projekt war im Februar 2013 in den Apache Inkubator übergeben worden und erhält mit dem Top-Level-Status nun die Anerkennung als produktionsreifes und vitales Open-Source-Projekt.

Bei Apache Tez geht es darum, ein einbettbares Framework bereit zu stellen, mit dem sich performante Batch und interaktive Datenverarbeitungs-Engines entwickeln lassen. Anwendungen sollen mit Tez auf Datenvolumina bis zu PetaByte-Größe skalieren können und gute Performances innerhalb verteilter Hadoop Cluster aufweisen.

Tez ist eine Alternative für den MapReduce-Ansatz, der ja lange Zeit Grundlage von Hadoop war, seit Hadoop 2 jedoch durch andere Ausführungsalgorithmen ersetzt werden kann. Im Einsatz ist Tez bereits als Motor verschiedener Big-Data-Projekte wie Apache Hive oder Apache Pig.

Gemeinsam mit Hortonworks hat beispielsweise der Video-Streaming-Riese Netflix die Integration von Pig-on-Tez vorangetrieben und damit nach Eigenangaben die Performance fast um das Doppelte gesteigert. Beiträge zu Tez stammen auch aus den Reihen von Cloudera, Facebook, LinkedIn, Microsoft, Twitter und Yahoo.

Tez-Mentor Chris Mattmann von der NASA JPL-Gruppe kommentiert:

Tez makes queries on Hadoop databases like Hive interactive, instead of batch oriented. Tez is similar to recently graduated projects in the Apache Big Data ecosystem including Apache Spark and also Apache Tajo, projects with similar goals of speeding up queries in Hadoop. My data science team at NASA is looking at Tez, Spark, and Tajo and evaluating them on projects in climate science and in radio astronomy.

Weiterführende Informationen über das Apache Tez-Projekt hält die Projektseite http://tez.apache.org/ bereit.

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Content-Stratege, IT-Redakteur, Storyteller – als Online-Teamlead bei S&S Media ist Hartmut Schlosser immer auf der Suche nach der Geschichte hinter der News. SEO und KPIs isst er zum Frühstück. Satt machen ihn kreative Aktionen, die den Leser bewegen. @hschlosser
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: