Ein neues Zuhause für Spark-Komponenten

Apache Bahir wird Top-Level-Projekt: Extensions für Apache Spark

Dominik Mohilo

© Shutterstock / elwynn

Ein weiteres Big-Data-Projekt hat den Schritt aus dem Inkubator der Apache Foundation gemacht: Apache Bahir ist eines der neuen Top-Level-Projekte aus der Projektgruppe für die Verarbeitung großer Datenmengen. Diese ist mit nunmehr 37 von etwa 300 Projekten die derzeit drittgrößte der Apache Foundation. Für den Anfang können sich vor allem Nutzer von Spark über die Erweiterungen durch Bahir freuen.

Was ist Apache Bahir?

Mit Apache Bahir wurde vor wenigen Tagen sozusagen ein neues Zuhause für viele bereits existierende Konnektoren in Spark veröffentlicht. Es bringt allerdings auch eigene Plug-ins und Erweiterungen für andere mit Spark zusammenhängende verteilte Systeme, Speicher und Systeme zur Query-Ausführung mit sich.

Der Code von Bahir ist dabei aus Spark extrahiert worden und zu einem eigenständigen Projekt angewachsen, das für die Bereitstellung von Plug-ins und Erweiterungen, neuen Konnektoren und anderen, mit Spark verbindbaren Komponenten genutzt werden kann. Zudem ist Bahir bereits jetzt mit verschiedenen Storage Layers eng verbunden.

Derzeit werden von Bahir folgende Verknüpfungen bereitgestellt:

  • streaming-akka (Akka: ein Open-Source-Toolkit für die Erstellung von simultanen und verteilten Anwendungen auf der JVM)
  • streaming-mqtt (MQTT: ein leichtgewichtiges Message-Protokoll für das IoT)
  • streaming-twitter (Twitter: das soziale Netzwerk sollte eigentlich jeder kennen 😉 )
  • streaming-zeromq (zeromq: eine hochperformante Messaging-Bibliothek)
Quelle: Apache Bahir

Quelle: Apache Bahir

Ausblick

Nun, da Apache Bahir ein Top-Level-Projekt ist, soll die Entwicklung aber nicht beendet werden, im Gegenteil: Zukünftig sollen weitere ASF-Projekte und unter der Apache Lizenz agierende Initiativen mit Bahir verknüpft werden. Luciano Resende, Vizepräsident des Bahir-Projektes, hat Interesse daran bekundet, Bahir mit der Zeit auch für andere Plattformen anzubieten. Im Sinn hat er dabei vor allem Apache Beam und Apache Flink. Zu diesem Zweck wird vor allem die Community um Hilfe gebeten:

„We are very motivated to increase the size and diversity of the Apache Bahir community. We welcome feedback, use cases, bug reports, patch submissions, code contributions, documentation, new extension proposals, and other ways to participate.“

Weitere Informationen zu Bahir gibt es im Blog der Apache Foundation, auf GitHub und natürlich auf der Web-Seite des Projektes.

Big Data in Apache

Die Apache Software Foundation ist derzeit Lizenzgeber und Heimat von über 300 Projekten und Initiativen. Was sie alle verbindet, ist der Open-Source-Gedanke und die kollaborative Entwicklung nach offenen Prinzipien, womit die ASF ein ähnliches Konzept wie etwa die Eclipse Foundation verfolgt. Mit Apache Bahir sind mittlerweile 37 Projekte im Big-Data-Umfeld der Foundation angesiedelt, das macht laut Apache 8.5 Prozent aller Projekte aus.

Es wird deutlich, dass sich die Apache Foundation immer mehr zu einem Zuhause für datenverarbeitende Projekte entwickelt – ähnlich, wie sich derzeit bei Eclipse die IoT-Projekte anhäufen. Die Big-Data-Sparte von Apache ist bereits das drittgrößte Projektumfeld. Innerhalb dieses Umfeldes haben 16 Projekte einen starken Bezug zu Apache Hadoop. Eine Übersicht aller Projekte des Big-Data-Umfeldes gibt es auf der Projektseite der Apache Software Foundation

Aufmacherbild: Concept of , Asian young man standing on roof and drawing by flash light. von Shutterstock / Urheberrecht: elwynn

Verwandte Themen:

Geschrieben von
Dominik Mohilo
Dominik Mohilo
Dominik Mohilo studierte Germanistik und Soziologie an der Goethe-Universität in Frankfurt. Seit 2015 ist er Redakteur bei S&S-Media.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: