Pivotal HD 2.0 und der Sprung in den „Business Data Lake“

Redaktion JAXenter

Das Unternehmen Pivotal, im vergangenen Jahr aus einer gemeinsamen Initiative von EMC und VMware hervorgegangen, hat Version 2.0 seiner Hadoop-Distribution Pivotal HD veröffentlicht. Diese wartet mit einer integrierten In-Memory-Datenbank, GemFire XD, sowie mit erweiterten Business-Intelligence-Fähigkeiten auf. Unternehmen, die auf diese Lösung setzen, soll dadurch eine deutlich schnellere und flexiblere Datenanalyse als mit Hadoop allein ermöglicht werden.

Hinter GemFire XD verbirgt sich die Query-Language SQLFire in einer für das HDFS (Hadoop Distributed File System) von Pivotal HD optimierten Variante. Diese kann transaktionale Datenströme über Schnittstellen wie ODBC, JDBC oder Spring Data aufnehmen und in Echtzeit verarbeiten. Durch bidirektionale Datenverwaltung können zudem In-Memory- mit HDFS-Daten zusammengeführt werden, was interaktive Queries begünstigt.

Neue Analyse-Algorithmen ähnlich denen, die Googles PageRank, Amazons Recommendation Engines, Apples Spracherkennung und den Trading-Anwendungen der Wall Street zugrundeliegen, zielen speziell auf Data Scientists und Business-Analysten ab. Mitunter wurde die hauseigene SQL-Query Engine HAWQ mit neuen Fähigkeiten ausgestattet. Sie unterstützt nun das Spalten-Speicherformat Parquet, das u.a. auch von Clouderas Impala-Projekt verwendet wird.

Zusätzlich wurde die Unterstützung der Open-Source-Analysebibliothek MADLib ausgebaut. Ebenfalls Eingang in die neue Version fand das OpenMPI von GraphLab, eines Frameworks zur visuellen Analyse, das gern für maschinelles Lernen eingesetzt wird.

Mit Pivotal 2.0 sieht sich Pivotal der Vision eines „Business Data Lake“ ein Stück näher gekommen, die das Unternehmen gemeinsam mit dem IT-Beratungs- und Dienstleistungsunternehmen Capgemini verfolgt: Durch eine engere Verzahnung von Datenspeicherung, -verarbeitung und -analyse sollen Unternehmen, die auf solche Big-Data-Dienste angewiesen sind, Kosten sparen.

EMC und VMware gründeten im Dezember 2012 die Pivotal Initiative, mit dem Ziel, Ressourcen und Experten aus den Bereichen Big Data und Cloud zusammenzuführen. General Electric bezuschusste die Kooperation mit einer Investition von 105 Millionen US-Dollar. Seit April 2013 ist Pivotal ein unabhängiges Unternehmen, das sich selbst an der Schnittstelle zwischen Big Data, PaaS und agiler Entwicklung verortet.

Im Februar 2013 war Pivotal HD erstmals angekündigt worden. Das 1.0-Release erfolgte ein halbes Jahr später.

Pivotal HD Architektur

 

Geschrieben von
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: