Spring XD: Erster Meilenstein für Big Data à la Spring

Hartmut Schlosser

Im April angekündigt, jetzt mit dem ersten Meilenstein-Release am Start: das neue Big-Data-Projekt Spring XD aus dem Hause SpringSource. Unter Einbeziehung verschiedener existierender Spring-Projekte wie Spring Integration, Spring for Apache Hadoop und Spring Batch geht es bei Spring XD darum, ein erweiterbares System für die Daten-Speicherung und -Verarbeitung, Echtzeitanalyse, Batch Processing und den Daten-Export bereit zu stellen.

Verfügbar ist nun Spring XD 1.0 Milestone 1, ein Release, das bereits die Grundkomponenten enthält. Insbesondere wird eine Laufzeitumgebung geliefert, die sich über eine spezielle DSL (domänenspezifische Sprache) konfigurieren lässt.

Die Funktionsweise von Spring XD wird ganz gut von Mark Pollack auf dem SpringSource-Blog erklärt. Ein sogenannter „Stream“, der über die DSL konfiguriert werden kann, definiert, wie Daten gesammelt, verarbeitet und gespeichert werden sollen. Beispielsweise kann eine UNIX „Pipes-and-Filters“ Syntax genutzt werden, um einen linearen Prozess-Fluss zu definieren (etwa: Syslog-Daten sammeln, filtern und in HDFS speichern). Von hier aus sind dann auch komplexere Szenarien über eine erweiterte Syntax möglich.

Der Fokus des Spring-XD-Projektes liegt zunächst auf der Dateneinspeisung im HDFS-Format aus verschiedenen Quellen. Das Hadoop Workflow Management wird über Batch Jobs erledigt. Geplant ist ein Datenexport in andere Systeme, beispielsweise RDBMS oder alternative NoSQL-Datenbanken. Darüberhinaus ist vorgesehen, über die API Schicht hinaus zu gehen und einen Out-of-the-Box-Server, ein Plug-in Modul-System sowie ein Modell für die Verteilung von Data-Collection-Instanzen auf Hadoop Cluster bereit zu stellen.

Spring XD 1.0 M1 kann aus einem SpringSource-Repository bezogen werden. Verwenden können Sie Spring XD unter der Apache-2-Lizenz. Die Dokumentation und besagter Blogpost von Mark Pollack können als Einführung empfohlen werden.

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Hartmut Schlosser ist Redakteur und Online-Koordinator bei Software & Support Media. Seine Spezialgebiete liegen bei Java-Enterprise-Technologien, JavaFX, Eclipse und DevOps. Vor seiner Tätigkeit bei S & S Media studierte er Musik, Informatik, französische Philologie und Ethnologie.
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.