Big Data wird einfacher: Spring für Apache Hadoop 1.0 erschienen

Judith Lungstraß

Ein Jahr nach dem ersten Meilenstein ist nun die endgültige Version von Spring für Apache Hadoop 1.0 erschienen, die einen großen Teil des eingegangenen User Feedbacks implementiert. Ziel des Projektes ist weiterhin, die Entwicklung Hadoop-basierter Big-Data-Anwendungen zu vereinfachen.

Nutzt man die Standard-Tools für Hadoop-Anwendungen, sind diese oft nicht ausreichend strukturiert und wirken wie lose zusammen geworfen. Das kommt daher, dass Hadoop-Projekte sehr unterschiedliche Ursprünge haben können. Spring für Apache Hadoop hingegen stellt ein konsistentes Programmier- und Konfigurationsmodell zur Verfügung. Wendet man das Spring Template API Design Pattern auf Hadoop an, werden beispielsweise Helfer-Klassen wie HBaseTemplate, HiveTemplate und PigTemplate erstellt.

Runner-Klassen können nach Belieben kombiniert werden, sie erlauben unter anderem die Ausführung von Hive sowie Pig Scripts und Vanilla Map/Reduce oder Streaming Jobs. Bei wachsender Komplexität kann man dann auf Spring Batch upgraden und so auch ein Rest API nutzen.

Spring für Apache Hadoop 1.0 kann in der SpringSource Community heruntergeladen werden. Dort gibt es auch die passenden Maven-Artefakte.

Geschrieben von
Judith Lungstraß
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.