Frisch aus dem Incubator: Apache NiFi

Apache NiFi: Big-Data-System wird Top-Level-Projekt

Moritz Hoffmann

(c) shutterstock.com / Scott Bedford

Apache NiFi, ein System für die automatisierte Verteilung und Verarbeitung großer Datenmengen, ist von der Apache Software Foundation zum Top-Level-Projekt erklärt worden. Das Projekt soll die alten Probleme beim Datenfluss zwischen verschiedenen Systemen in puncto Sicherheit, Interaktivität und Skalierbarkeit beheben. Fast ein Jahr lang lag NiFi im Apache Incubator, um sich interessierten Entwicklern nun in der Version 0.2.0 zu präsentieren.

NiFi’s User Interface funktioniert Web-basiert und soll den Nutzern eine intuitive Handhabung des Designs, eine individuelle Kontrolle des Datenflusses sowie Feedback und Monitoring ermöglichen. Außerdem heben die Entwickler die Funktionen zur Ermittlung der Datenherkunft hervor. Damit können die User ein Objekt aus dem Datenfluss einsehen, wiederholen und den Verlauf seiner Verarbeitung visualisieren.

Zudem erlaubt es NiFi seinen Nutzern, für eine beschleunigte Entwicklung und effizientes Testen eigene Prozessoren zu bauen. Das Datenverarbeitungssystem soll hoch-konfigurierbar sein und sowohl mit dynamischer Priorisierung als auch mit Back-Pressure arbeiten. Je nach Anforderung kann das System auf niedrige Latenz oder hohen Durchlauf konfiguriert werden. Der Datenfluss ist je nach Laufzeit modifizierbar.

Apache NiFi gründet auf dem Konzept der Flow-basierten Programmierung (FBP). Der Metapher einer Datenfabrik folgend werden beim FBP Anwendungen nicht als singuläre und sequenzielle Prozesse mit funktionalem Start- und Endpunkt angesehen, sondern als Teile eines Netzwerks asynchroner Prozesse, die nach Vorgabe strukturierter Daten-Bündel in Streams miteinander kommunizieren. Im Zentrum der Betrachtung stehen dabei immer die Anwendungsdaten sowie die Transformationen, die angewendet werden, um den erwünschten Output zu erhalten.

Für Apache NiFi stehen ein Developer Guide, ein Wiki-Eintrag sowie eine allgemeine Projektdokumentation zur Verfügung. Auf dem NiFi-Blog können sich Interessierte auf dem Laufenden halten.

Aufmacherbild: Huge database symbol dwarfs three people… via Shutterstock.com
Urheberrecht: Scott Bedford

Verwandte Themen:

Geschrieben von
Moritz Hoffmann
Moritz Hoffmann
Moritz Hoffmann hat an der Goethe Universität Soziologie sowie Buch- und Medienpraxis studiert. Er lebt seit acht Jahren in Frankfurt am Main und arbeitet in der Redaktion von Software und Support Media.
Kommentare

Hinterlasse einen Kommentar

avatar
4000
  Subscribe  
Benachrichtige mich zu: