Neues vom Spark-Framework

Apache Spark 1.4 verfügbar

Moritz Hoffmann

(c) shutterstock/The Len

Einer Typesafe-Umfrage von Anfang dieses Jahres zufolge, erfreut sich das Spark-Framework seit seiner Entlassung aus dem Apache-Inkubator in Entwicklerkreisen großer Beliebtheit. Damit steigt auch die Relevanz von Spark für andere Software-Projekte. Erst dieser Tage hat MapR drei Erweiterungen zur Kombination seiner Hadoop-Distributionen mit Spark veröffentlicht. Databricks, das Unternehmen hinter Spark, hat nun die allgemeine Verfügbarkeit von Spark 1.4 bekanntgegeben.

Im Zentrum des neuen Releases steht SparkR, ein R-API für Datenspezialisten. Bei R handelt es sich um eine beliebte Statistik-Programmiersprache, die u.a. Erweiterungen für die Datenverarbeitung und für maschinelles Lernen vorsieht. SparkR bietet ein R-Frontend für Apache Spark und nutzt dessen verteilte Rechenmaschine, um hochskalierte Datenanalysen von der R-Shell aus zu laufen zu lassen.

Damit ist SparkR das erste neue Sprach-API im Big-Data-Framework seit dem 2012 zur Verfügung gestellten PySpark. Die Programmierschnittstelle lehnt sich am seit Spark 1.3 prominenten und in der neuen Version überarbeiteten DataFrames-API an. Die dabei zum Einsatz kommenden DataFrames stellen eine Weiterentwicklung von Sparks RDD-Modell war. Sie machen sich den logischen Optimierer von Spark SQL zunutze, um die physische Ausführung von Operationen derart zu planen, dass sie auch bei großen Datensätzen gut funktionieren.

Sparks Machine Learning Pipelines, für die in Version 1.3 ein eigenes API eingebaut wurde und die die Produktionsabläufe durch maschinelles Lernen vereinfachen sollen, sind mit Spark 1.4 aus dem Alpha-Status herausgetreten. Für ein verbessertes Debugging wurden zudem für Spark Streaming und Core Visualisierungs- und Monitoring-Komponenten bereitgestellt.

Weitere neue oder veränderte Funktionen sind dem Release Announcement zu entnehmen. Dort sollen auch noch in den kommenden Wochen Informationen zu den neuen Features ergänzt werden.

Aufmacherbild: Glowing Sparks in the dark von Shutterstock.com / Urheberrecht: The Len

Geschrieben von
Moritz Hoffmann
Moritz Hoffmann
Moritz Hoffmann hat an der Goethe Universität Soziologie sowie Buch- und Medienpraxis studiert. Er lebt seit acht Jahren in Frankfurt am Main und arbeitet in der Redaktion von Software und Support Media.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: