Erster Meilenstein für Spring Hadoop 1.0.0

Hartmut Schlosser

Das erste Meilenstein-Release von Spring Hadoop 1.0.0 steht bereit. Als Teil des Spring-Data-Projektes stellt Spring Hadoop ein vereinfachtes Programmiermodell für die Entwicklung von Spring-Anwendungen bereit, die von der Hadoop-Technologie Gebrauch machen. Auf der Projektseite stellt Chris Beams den aktuellen Entwicklungsstand vor.

Eine einfache Hadoop-Anwendung, die nichts weiter als eine Anzahl an Wörtern zählt, nimmt folgende Gestalt an:

<!-- configure Hadoop FS/job tracker using defaults -->
<hdp:configuration />
 
<!-- define the job -->
<hdp:job id="word-count"
  input-path="/input/" output-path="/ouput/"
  mapper="org.apache.hadoop.examples.WordCount.TokenizerMapper"
  reducer="org.apache.hadoop.examples.WordCount.IntSumReducer"/>
 
<!-- execute the job -->
<bean id="runner" class="org.springframework.data.hadoop.mapreduce.JobRunner"
                  p:jobs-ref="word-count"/>  

Gezeigt wird weiterhin das Ausführen von MapReduce Jobs, die Arbeit mit HBase/Hive/Pig, Cascading, HDFS/Scripting und die Nutzung der Spring Service Abstractions. Weitere Features sind bereits umgesetzt, beispielsweise stellt die Spring Batch Integration Tasklets für Hadoop Interaktionen bereit, die Spring Integration kann für das Event Triggering genutzt werden.

Ein kostenfreier Download ist auf der Spring-Community-Seite möglich.

Geschrieben von
Hartmut Schlosser
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.