Adobe stellt Spark-basierte Query Engine Spindle Open Source

Claudia Fröhling

Adobe hat sein Web-Analytics-Tool Spindle Open Source zur Verfügung gestellt. Spindle stammt ursprünglich aus einem Forschungsprojekt von Adobe Research und nutzt eine breite Palette an bekannten Technologien aus dem Big-Data-Bereich.

Spindle: Spark, Spray, Hadoop

Im Vordergrund steht dabei das Datenanalyse-Tool Apache Spark das Echtzeitanalysen ermöglicht. Spark ist erst Mitte Februar aus dem Incubator zum vollwertigen Projekt aufgestiegen („Der BigData-Funke ist übergesprungen“). Spindle ist Spark-basiert und bildet den Prototyp für eine Web Analytics Query Engine.

Dabei werden in Spindle Query Requests über ein multi-threaded HTTP-Interface angezeigt, dass auf Spray basiert. Spray gehört seit Oktober 2013 zum Typesafe-Stack und bietet eine REST/HTTP-Bibliothek, die auf Scala und Akka aufbaut. Zum Einsatz kommt außerdem Apache Parquet, ein Storage-Format für Hadoop.

Spindle-Architektur

Auf der GitHub-Seite von Spindle findet sich eine Darstellung der Architektur des Adobe-Projekts. Das dort ebenfalls verfügbare Repository beinhaltet eine Spindle-Implementierung sowie Benchmarking-Scripts, um mehr über die Performance von Spindle zu erfahren.

Spindle-Architektur

Geschrieben von
Claudia Fröhling
Claudia Fröhling
Claudia Fröhling hat in verschiedenen Redaktionen als TV- und Onlineredakteurin gearbeitet, bevor sie 2008 zur Software & Support Media GmbH kam und sich bis 2014 um alle Projekte des Verlages im Ressort Java kümmerte. Claudia hat einen Abschluss in Politikwissenschaften und Multimedia Producing. Ihr Google+ Profil findest du hier.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: