Facebooks Query Engine Presto ist Open Source

Diana Kupfer

Facebooks Query Engine Presto, die in Java entwickelt wird, steht seit einigen Tagen als Open Source zur Verfügung, wie das Unternehmen in einer offiziellen Notiz mitteilt. Hintergrund ist das große Interesse anderer Firmen an der Technologie, seit diese vergangenen Juni erstmals öffentlich vorgestellt wurde.

Presto ist eine verteilte SQL-Suchengine, die den Standard ANSI SQL unterstützt. Die Architektur unterscheidet sich fundamental von der, die der Hive-/MapReduce-Kombination zugrunde liegt. Während Hive Suchanfragen in MapReduce-Tasks übersetzt, die gestaffelt ausgeführt werden, kommt Presto ganz ohne MapReduce aus.

SQL-Anfragen werden vom Client an den „Presto coordinator“ gesendet, der die inhaltliche und zeitliche Ausführung der Suchanfragen zentral steuert. Jegliche Datenverarbeitung geschieht In-Memory, alle Queries werden in einer Pipleline abgearbeitet. Dadurch können Tasks unterschiedlicher Stadien parallel ausgeführt werden, was wiederum für eine geringe Latenz sorgt: Laut dem Facebook-Entwickler Martin Traverso ist Presto zehnmal schneller als Hive und MapReduce.

Ein weiteres Charakteristikum Prestos ist seine Erweiterbarkeit („Pluggable Backends“). Dank einer einfachen Speicherabstraktion kann die SQL-Suchfunktionalität auf disparate Datenbanktypen angewandt werden. Dazu müssen lediglich einschlägige Konnektoren zur Verfügung stehen. Konnektoren für HBase und Scribe existieren bereits.

Die Entwicklung an Presto begann vor etwa einem Jahr, als abzusehen war, dass das Big-Data-Duo MapReduce und Hive nicht für die Petabytes an Daten ausreichen würde, die das Warehouse damals bereits enthielt. Mittlerweile arbeiten über tausend Facebook-Mitarbeiter mit dem System. Sie führen damit 30,000 Queries pro Tag aus, was einem Petabyte entspricht.

Die offizielle Webpräsenz Prestos ist unter http://prestodb.io zu finden, der Sourcecode auf GitHub.

Geschrieben von
Diana Kupfer
Diana Kupfer
Diana Kupfer war Redakteurin bei S&S Media für die Zeitschriften Java Magazin, Eclipse Magazin und das Portal JAXenter. 
Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.