Suche
Big Data

Hazelcast Jet: Datenverarbeitung fast in Echtzeit

Melanie Feldmann

© Shutterstock / SFIO CRACHO

Hazelcast hat Hazelcast Jet vorgestellt, eine Engine für verteilte Datenströme in Big-Data-Umgebungen. Die Engine ist ein neues Open-Source-Projekt, das Prozesse parallel ausführt, um datenintensiven Applikationen Operationen nahezu in Echtzeit zu ermöglichen.

Hazelcast Jet erreich die Parallelisierung der Prozesse durch die IMDG-Storage-Funktionen von Hazelcast. Das Tool setzt dabei auf so genannte Directed Acyclic Graphs (DAG), um die einzelnen Schritte in der Prozess-Pipeline zu strukturieren. Jet kann sowohl Batch- als auch Stream-basierte Processing-Applikationen ausführen. Die Lösung eignet sich für Anwendungen, die Nahe- Echtzeitgeschwindigkeiten brauchen, beispielsweise Sensoren-Updates im Internet der Dinge oder Lichtsysteme in der Heimautomation, In-Store e-Commerce-Systeme oder Social-Media-Plattformen.

Hazelcast Jet basiert auf einer One-Record-per-Time-Architektur: Es bearbeitet eingehende Records so schnell wie möglich anstatt sie zuerst in Micro-Batches zu sammeln. Auf diese Weise reduziert das Tool die Verzögerungen für Applikationen. Jet nimmt die Daten schnell auf – via Socket, Datei, Hadoop Distributed File System (HDFS) oder Kafka-Schnittstellen – und wickelt die Business-Logik oder komplexe Berechnungen eingehender Daten ab. Dieser reine In-Memory-Ansatz macht Jet laut den Entwicklern 20-mal schneller als Hadoop.

Außerdem ist Jet für Microservices ausgelegt, da es sich in diese als embedded System integrieren lässt. Für verteilte Datenströme kommt das java.util.stream-API zum Einsatz. Das Tool verfügt über Konnektoren für Lese- und Schreibzugriff zu Hazelcast IMDG Map/List, HDFS, Kafka sowie zu Dateien und Socket. Hazelcast Jet steht unter einer Apache-2-Lizenz und ist auf GitHub verfügbar – zurzeit in der Version 0.3. Code-Beispiele helfen beim Einstieg.

Verwandte Themen:

Geschrieben von
Melanie Feldmann
Melanie Feldmann
Melanie Feldmann ist seit 2015 Redakteurin beim Java Magazin und JAXenter. Sie hat Technikjournalismus an der Hochschule Bonn-Rhein-Sieg studiert. Ihre Themenschwerpunkte sind IoT und Industrie 4.0.
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.