Interview mit Chris Mattmann

Apache Bahir verhindert den Wilden Westen der Big-Data-Projekte

Kypriani Sinaris
Chris Mattmann

Chris Mattmann

Die Apache Software Foundation hat kürzlich Apache Bahir zum Top-Level-Projekt ernannt. Wir haben Erfinder Chris Mattmann, Principal Data Scientist und Chief Architect beim Jet Propulsion Laboratory der Nasa, gefragt, was die Ziele des Projekts sind und wie er die Zukunft von Big Data einschätzt.

JAXenter: Was ist die Idee hinter dem Projekt Apache Bahir? Welche Lücke füllt das Projekt?

Chris Mattmann: Apache Spark ist ein Framework und System zur schnellen und in-memory Verarbeitung von großen Datenmengen. Es gibt Plug-ins für Spark und ein Set an Spark-Konnektoren, die ursprünglich auf GitHub verfügbar gemacht werden sollten. Stattdessen schien es aber sinnvoller, diese näher an die Apache Community zu knüpfen – und so entstand Apache Bahir.

JAXenter: In der Pressemitteilung heißt es, das Apache Bahir eine Sammelstelle ist, um „Extensions, die mit verteilten Analyse-Plattformen zu tun haben, unter der Leitung von Apache zu kuratieren“. Wie genau muss man sich das vorstellen?

Chris Mattmann: Die Idee ist, dass Apache Bahir ein Apache-Community-Projekt ist, das den Leistungsprinzipien von Apache folgt. Für geleistete Arbeit soll man auch das Recht haben, zu comitten und helfen können, das Projekt weiterzuentwickeln. Auf GitHub kann man das nicht garantieren. Bei der ASF folgen die Communities diesem Prinzip und garantieren so langlebige Projekte.

JAXenter: Kannst du uns ein Beispiel für einen klassischen Use Case von Bahir geben?

Chris Mattmann: Ein Use Case ist Spark Streaming und der Connector für das Streaming von MQTT. Apache Spark ist nativ für Low-Latency-Umgebungen optimiert und das MQTT Streaming Plug-in vergrößert die Einsatzmöglichkeiten von Spark durch eine Reihe an Messages, die besser zu High-Latency- und unzuverlässigen Netzwerken passt.

JAXenter: Nutzt du Bahir auch bei deiner Arbeit als Chief Architect bei der Nasa?

Chris Mattmann: Wir interessieren uns sehr für das Streaming von MQTT mit Apache Bahir im Kontext des JPL Airborne-Snow-Observatory-Projekts (ASO). Dieses wird in der Gegend des Mammoth Lakes durchgeführt, wo sowohl der Handy- als auch der Internetempfang sehr schlecht und unzuverlässig sind. Apache Bahir und Streaming-MQTT passen also perfekt in so eine Umgebung, in der wir Terabytes von Daten von unserem Lidar und den Spektrometern beim JPL ASO zu Schneetiefe und -schmelzrate verarbeiten müssen.

Dass Projekte in einer Leistungs- und Community-orientierten Art und Weise aufgezogen werden, ist meiner Meinung nach imperativ.

JAXenter: Big Data wird immer wichtiger – was kommt als nächstes? Wie sieht die Zukunft von Big Data deiner Meinung nach aus?
Chris Mattmann: Dass Projekte in einer Leistungs- und Community-orientierten Art und Weise aufgezogen werden, gerade im Bereich Big Data, ist meiner Meinung nach imperativ. Ein Wilder Westen an Big-Data-Projekten ist sehr schwer zu kuratieren. Projekte unter dem Schirm der ASF zu haben, geführt von Community-orientierten Prozessen, ist die Grundlage für die nächsten Schritte von Big Data.

Chris Mattmann

Chris Mattmann

Chris Mattmann is the Chief Architect of the Instrument and Science Data Systems Section at NASA JPL with the responsibility for influencing science data system designs and facilitating the infusion of new technologies to meet our future challenges. Dr. Mattmann is also JPL’s first Principal Scientist in the area of Data Science. The designation of Principal is awarded to recognize sustained outstanding individual contributions in advancing scientific or technical knowledge, or advancing the implementation of technical and engineering practices on projects, programs, or the Institution. He has over 15 years of experience at JPL and has conceived, realized and delivered the architecture for the next generation of reusable science data processing systems for NASA’s Orbiting Carbon Observatory, NPP Sounder PEATE, and the Soil Moisture Active Passive (SMAP) Earth science missions. Mattmann’s work has been funded by NASA, DARPA, DHS, NSF, NIH, NLM and by private industry. Mattmann was the first Vice President (VP) of Apache OODT (Object Oriented Data Technology), the first NASA project to enter the Apache Software Foundation (ASF) and he led the project’s transition from JPL to the ASF.

Verwandte Themen:

Geschrieben von
Kypriani Sinaris
Kypriani Sinaris
Kypriani Sinaris studierte Kognitive Linguistik an der Goethe Universität Frankfurt am Main. Seit 2015 ist sie Redakteurin bei JAXenter und dem Java Magazin.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: