Preview auf Spark 1.6

Apache Spark 1.6: Erste Preview verfügbar

Kypriani Sinaris

©Shutterstock/Evgeniya Anfimova

Das Preview Package von Apache Spark 1.6 steht auf Databricks zur Verfügung. Dieser Vorgeschmack auf die nächste Version des Frameworks soll unter anderem ein neues Dataset API, automatische Speicherkonfiguartion und einiges mehr zu bieten haben.

Ein Schlüsselfeature des Top-Level-Projekts Apache Spark 1.6 ist die neue Dataset API für die Arbeit mit typisierten Objekten. Als Erweiterung der DataFrame API soll sie die Vorteile von RDDs und Dataframes kombinieren, indem sie sowohl die statische Typisierung und Nutzerfunktionen von RDDs, als auch die von DataFrames bekannte Typüberprüfung zur Kompilierungszeit bietet.

Auch die automatische Memory-Konfiguration und eine optimierte Statusspeicherung in Spark Streaming werden von den Entwicklern in einem Blogpost angekündigt. Vor allem das geänderte Speichermanagement soll in Apache Spark 1.6 verbessert werden, denn die Größe der verschiedenen Speicherbereiche muss nicht mehr individuell eingestellt werden:

Spark at runtime will automatically grow and shrink regions according to the needs of the executing application. For many applications, this will mean a significant increase in available memory that can be used for operators such as joins and aggregations.

Eine ausführliche Liste aller Änderungen seit Apache Spark 1.5 findet sich auf databricks.

Aufmacherbild: sparks von Shutterstock / Urheberrecht: Evgeniya Anfimova

Geschrieben von
Kypriani Sinaris
Kypriani Sinaris
Kypriani Sinaris studierte Kognitive Linguistik an der Goethe Universität Frankfurt am Main. Seit 2015 ist sie Redakteurin bei JAXenter und dem Java Magazin.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: