Big-Data-Logging mit Java: Apache Flume 1.5 erschienen

Hartmut Schlosser

Apache Flume ist ein verteilt arbeitendes System für das Sammeln, Aggregieren und Bewegen großer Mengen an Log-Daten. Die Flume-Architektur basiert auf Data-Flow-Einheiten und umfasst Mechanismen zur Erhöhung der Ausfallsicherheit und Fehlertoleranz. Prinzipiell lässt sich Flume für jede Art von Event-Daten anwenden, beispielsweise für Netzwerk-Traffic, Social-Media-Daten oder E-Mails, die von verschiedenen Datenquellen eingesammelt und an einen zentralen Ort zur Weiterverarbeitung transportiert werden.

Architektur Apache Flume. Bild: http://flume.apache.org/FlumeUserGuide.html

Das Projekt hat gerade sein fünftes Release als Apache-Top-Level-Projekt hingelegt. Flume 1.5 ist nach mehrmonatiger Arbeit entstanden und bringt 123 Patches, die vor allem Bugs beheben, aber auch neue Features bieten. Neu implementiert wurde beispielsweise ein Dataset Sink, das das Kite API nutzt, um Daten nach HDFS (Hadoop Distributed File System) und HBase zu übertragen. Unterstützt wird jetzt das Elastic Search HTTP API. Außerdem wurde ein neuer In-Memory-Kanal eingerichtet. Die gesamte Liste der Änderungen findet sich im Changelog. Dort stehen auch Guides für User und Entwickler sowie die API Dokumentation bereit.

Apache Flume 1.5 ist abwärtskompatibel zu früheren Releases der 1.x-Entwicklungslinie und benötigt eine Java Runtime ab Java 1.6. Das Projekt wird maßgeblich von Committern von Cloudera entwickelt, erhält aber auch Beiträge von Hortonworks, Magnify Consulting, Motorola, Apple und anderen. Ein kostenloser Download ist unter http://flume.apache.org/download.html möglich.

Geschrieben von
Hartmut Schlosser
Hartmut Schlosser
Content-Stratege, IT-Redakteur, Storyteller – als Online-Teamlead bei S&S Media ist Hartmut Schlosser immer auf der Suche nach der Geschichte hinter der News. SEO und KPIs isst er zum Frühstück. Satt machen ihn kreative Aktionen, die den Leser bewegen. @hschlosser
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: