Suche
Bislang wichtigster Meilenstein

Streamprozessor Apache Flink erreicht erste Hauptversion

Michael Thomas

Apache-Flink-Logo (Quelle: https://flink.apache.org/material.html)

Der quelloffene Streamprozessor Apache Flink hat seine erste Hauptversion erreicht. Flink 1.0 schließt rund 450 JIRA-Issues und bringt neben Abwärtskompatibilität und Bugfixes mehrere Funktionalitätsverbesserungen mit sich, die die Programmierung, Bereitstellung und Wartung von Flink-Pipelines deutlich erleichtern sollen.

Die Veröffentlichung von Version 1.0 markiert Stephan Ewen (Vizepräsident von Apache Flink) zufolge den bedeutendsten Meilenstein, seitdem das Projekt Anfang 2015 zum Top-Level-Projekt der Apache Software Foundation (ASF) erhoben wurde. Insgesamt wirkten bislang mehr als 150 Committer an dem Projekt mit; aktuellen Tests zufolge soll Flink rund 50 mal schneller als vergleichbare verteilte Echtzeitrechensysteme sein.

Neben der Abwärtskompatibilität für öffentliche APIs für alle 1.x-Versionen führt Flink auch neue Funktionen für Complex Event Processing (CEP) ein. So kann dank der Bibliothek FlinkCEP zum Zweck der Erkennung komplexer Muster in Event-Streams anstatt eines spezialisierten CEP-Systems ab sofort alternativ ein verteilter Allzweck-Streamprozessor zum Einsatz kommen.

Auch die Monitoring-Funktionalität wurde der Ankündigung zufolge verbessert: In früheren Flink-Versionen stand zum Zwecke des Job Submitting ein separater Dienst zur Verfügung; künftig kann dies jedoch über das Web-Interface erledigt werden. Das neue Interface ist Teil des JobManager-Front-Ends und arbeitet nun auch mit YARN zusammen. Des Weiteren steht den Flink-Usern ein neues State-Back-End zur Verfügung, das für die State-Speicherung auf die ursprünglich von Facebook entwickelte Embedded-Datenbank RocksDB zurückgreift.

Ein ebenfalls neues Features bilden die Savepoints: Diese stellen Zustands-Checkpoints dar, die vom Nutzer währen eines laufenden Streaming-Jobs manuell ausgelöst werden können. Mit ihrer Hilfe sollen zahlreiche Produktionsprobleme (z. B. Code-Upgrades, Clusterpflege, Tests, Debugging etc.) gelöst werden. Stichwort Checkpoints: Flink 1.0 bietet einen feinkörnigeren Kontrollmechanismus als frühere Versionen; so legt der Checkpoint-Coordinator Statistiken nun via REST-API und Web-Interface offen. Nutzer können die Größe und Dauer von Checkpoints überprüfen und die zuletzt abgeschlossenen Checkpoints abrufen, was der Identifizierung von Performanzproblemen zugute kommen soll.

Zu guter Letzt unterstützt Flink nun sowohl Version 0.8 als auch Version 0.9 des quelloffenen Message-Brokers Apache Kafka, wobei der bestehende Connector für Kafka 0.8 in seinem Funktionsumfang erweitert wurde.

Apache Flink steht unter Apache-2.0-Lizenz und kann über die Website des Projekts kostenlos heruntergeladen werden. Weiterführende Informationen können der umfangreichen Dokumentation entnommen werden.

Apache Flink Basics

Apache Flink ist ein Open-Source-Projekt, das auf HDFS und YARN aufsetzt. Ziel ist es, einen hohen Abstraktionsgrad für die Lösung von Big-Data-Problemen bereitzustellen. Intern arbeitet Flink mit einem Key-Value-Pattern. Neben einem Scala-, Java- und Python-API steht mit Meteor auch eine eigene Skriptsprache zur Verfügung. Flink kombiniert verschiedene Streaming/Pipelining- und Batchverarbeitungstechnologien und hat sich aus der Frühzeit seiner Entwicklung zudem eine eigene Typen-Serialisierung, Speicherverwaltung und kostenbasierte Abfrageoptimierungs-Komponenten bewahrt.

Seine Wurzeln hat Apache Flink in dem 2009 gestarteten Forschungsprojekt “Stratosphere” der Technischen Universität Berlin, zu der sich im Laufe der Zeit die Humboldt-Universität zu Berlin, das Hasso-Plattner-Institut, die Königlich Technische Hochschule in Stockholm, die Eötvös-Loránd-Universität in Budapest sowie eine an Datenmanagement interessierte Community gesellten. Mit data Artisans gründeten einige Flink-Committer gar ein in Berlin ansässiges Startup, das sich ganz dem weiteren Wachstum von Flink verschrieben hat und mittlerweile einen kommerziellen Support für die Plattform anbietet. Nachdem es im April 2014 in den Incubator der ASF eingebracht wurde, erlangte Flink Mitte Januar 2015 offiziell den Rang eines Top-Level-Projekts.

Verwandte Themen:

Geschrieben von
Michael Thomas
Michael Thomas
Michael Thomas studierte Erziehungswissenschaft an der Johannes Gutenberg-Universität Mainz und arbeitet seit 2013 als Freelance-Autor bei JAXenter.de. Kontakt: mthomas[at]sandsmedia.com
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.