Hazelcast Jet: Datenverarbeitung fast in Echtzeit

© Shutterstock / SFIO CRACHO
Hazelcast hat Hazelcast Jet vorgestellt, eine Engine für verteilte Datenströme in Big-Data-Umgebungen. Die Engine ist ein neues Open-Source-Projekt, das Prozesse parallel ausführt, um datenintensiven Applikationen Operationen nahezu in Echtzeit zu ermöglichen.
Hazelcast Jet erreich die Parallelisierung der Prozesse durch die IMDG-Storage-Funktionen von Hazelcast. Das Tool setzt dabei auf so genannte Directed Acyclic Graphs (DAG), um die einzelnen Schritte in der Prozess-Pipeline zu strukturieren. Jet kann sowohl Batch- als auch Stream-basierte Processing-Applikationen ausführen. Die Lösung eignet sich für Anwendungen, die Nahe- Echtzeitgeschwindigkeiten brauchen, beispielsweise Sensoren-Updates im Internet der Dinge oder Lichtsysteme in der Heimautomation, In-Store e-Commerce-Systeme oder Social-Media-Plattformen.
Hazelcast Jet basiert auf einer One-Record-per-Time-
Außerdem ist Jet für Microservices ausgelegt, da es sich in diese als embedded System integrieren lässt. Für verteilte Datenströme kommt das java.util.stream-API zum Einsatz. Das Tool verfügt über Konnektoren für Lese- und Schreibzugriff zu Hazelcast IMDG Map/List, HDFS, Kafka sowie zu Dateien und Socket. Hazelcast Jet steht unter einer Apache-2-Lizenz und ist auf GitHub verfügbar – zurzeit in der Version 0.3. Code-Beispiele helfen beim Einstieg.
Hinterlasse einen Kommentar