Apache Spark 1.1 mit Erweiterungen von SparkSQL und mehr

Claudia Fröhling

Das Datenanalyse-Tool Apache Spark ist in Version 1.1 erschienen. Besonders SparkSQL soll in diesem Minor Release signifikant erweitert worden sein, heißt es in der Ankündigung. Das umfasst zum Beispiel einen JDBC-Server und ein neues öffentliches Types-API, mit dem Drittanbieter-Datenquellen leichter integriert werden können.

Die Machine Learning Library in Apache Spark, MLlib wurde ebenfalls erweitert und bietet jetzt neue Algorithmen. Diese sollen vor allem Data Scientists zu Gute kommen. In der nächsten Version soll MLlib dann ein erweitertes API für End-to-End Machine Learning Pipelines erhalten.

Auch Spark Streaming hat Neuigkeiten zu bieten, beispielsweise die Unterstützung von Amazon Kinesis, einem Service zur Verarbeitung von Streaming-Daten in Echtzeit. Neue Machine-Learning-Algorithmen sind ebenfalls in Spark 1.1 enthalten.

Um die Performance im Spark Core zu erhöhen wurde Spark Shuffle neu implementiert. Alle Änderungen der neuen Version finden sich im Blogpost.

Apache Spark

Erst im Februar wurde Apache Spark aus dem Projekt-Inkubator der Apache Foundation entlassen und zum vollwertigen Projekt gewählt, wenige Wochen, nachdem Cloudera kommerziellen Support für das In-Memory-Framework angekündigt hatte. Im Juni erschien das erste Major Release des Tools.

Mittlerweile kann Spark auf eine kleine Erfolgsstory zurückblicken. So kündigte das US-amerikanische Unternehmen MapR Technologies neulich an, Spark künftig in seine Distributionen integrieren zu wollen. Auch DataStax, Spezialist für die Datenbank Cassandra, kooperiert mit Databricks, um eine Integration in Cassandra in die Wege zu leiten. Dazu äußerte sich Martin Van Ryswyk kürzlich in einem JAXenter-Interview.

Geschrieben von
Claudia Fröhling
Claudia Fröhling
Claudia Fröhling hat in verschiedenen Redaktionen als TV- und Onlineredakteurin gearbeitet, bevor sie 2008 zur Software & Support Media GmbH kam und sich bis 2014 um alle Projekte des Verlages im Ressort Java kümmerte. Claudia hat einen Abschluss in Politikwissenschaften und Multimedia Producing. Ihr Google+ Profil findest du hier.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: