Hazelcast Jet: Datenverarbeitung fast in Echtzeit

Hazelcast Jet erreich die Parallelisierung der Prozesse durch die IMDG-Storage-Funktionen von Hazelcast. Das Tool setzt dabei auf so genannte Directed Acyclic Graphs (DAG), um die einzelnen Schritte in der Prozess-Pipeline zu strukturieren. Jet kann sowohl Batch- als auch Stream-basierte Processing-Applikationen ausführen. Die Lösung eignet sich für Anwendungen, die Nahe- Echtzeitgeschwindigkeiten brauchen, beispielsweise Sensoren-Updates im Internet der Dinge oder Lichtsysteme in der Heimautomation, In-Store e-Commerce-Systeme oder Social-Media-Plattformen.

Hazelcast Jet basiert auf einer One-Record-per-Time-Architektur: Es bearbeitet eingehende Records so schnell wie möglich anstatt sie zuerst in Micro-Batches zu sammeln. Auf diese Weise reduziert das Tool die Verzögerungen für Applikationen. Jet nimmt die Daten schnell auf – via Socket, Datei, Hadoop Distributed File System (HDFS) oder Kafka-Schnittstellen – und wickelt die Business-Logik oder komplexe Berechnungen eingehender Daten ab. Dieser reine In-Memory-Ansatz macht Jet laut den Entwicklern 20-mal schneller als Hadoop.

Außerdem ist Jet für Microservices ausgelegt, da es sich in diese als embedded System integrieren lässt. Für verteilte Datenströme kommt das java.util.stream-API zum Einsatz. Das Tool verfügt über Konnektoren für Lese- und Schreibzugriff zu Hazelcast IMDG Map/List, HDFS, Kafka sowie zu Dateien und Socket. Hazelcast Jet steht unter einer Apache-2-Lizenz und ist auf GitHub verfügbar – zurzeit in der Version 0.3. Code-Beispiele helfen beim Einstieg.