Interview mit Eric Le Blouc'h von Ubeeko

HFactory stellt sich vor: Big-Data-Entwicklungsplattform für HBase

Redaktion JAXenter

Eric Le Blouc’h

HFactory ist eine „Big Data Appplication Platform für das Internet der Dinge“, heißt es auf der Projektseite des jungen Unternehmens Ubeeko. Im Interview mit Eric Le Blouc’h, Software Engineer bei Ubeeko, klären wir, was HFactory kann und welche Rolle Scala und Docker dabei spielt.

JAXenter: Hallo Eric, was ist Eure Zielsetzung mit Eurem Startup Ubeeko?

Eric Le Blouc’h: Wir haben mit HFactory eine Web-Application-Plattform für den Hadoop Stack erstellt, die eine Oberfläche zur schnellen Entwicklung von Big-Data-Applikationen enthält. Das HFactory Studio kümmert sich um den Aufbau der JSON/REST API und die HBase Persistence basierend auf der Beschreibung ihrer Entitäten.

Welches Problem möchtet Ihr mit HFactory lösen?

Eric Le Blouc’h: Wir wollen die Komplexität bei der Entwicklung und dem Deployment von Web-Applikationen mit Hadoop verbergen. Während der Entwicklungsphase unserer ersten Applikationen unter der Verwendung von Hadoop/HBase hatten wir mit einigen Problemen zu kämpfen. Manche wurden seitdem gelöst: Das Erstellen eines Hadoop Clusters ist nun dank Cloud-basiertem Deployment einfacher, und die Installation und Konfiguration ist nun mit Dingen wie Ambari, dem Cloudera Manager und dem MapR Installer einfacher geworden. Doch das REST API von HBase ist immer sehr Low-Level.  Alle Werte sind „opake Blobs“. HFactory macht die Entwicklung von neuen Applikationen schnell und einfach, dank seinem High-Level, Entitäten-zentrierten API mit stark typisierten Werten und seinem automatischen Scaffolding. Der HFactory Server ist die Plattform, auf der diese Applikationen laufen können.

Wie arbeitet HFactory intern?

Eric Le Blouc’h: HFactory basiert auf Scala/Spray und macht intensiven Gebrauch von Scala Macros, um den Code für das HBase Backend und das REST API zu generieren. Wir verteilen den Code über Docker-Container, damit das Testen und die Produktionsumgebung innerhalb von Minuten eingerichtet sind. Ein Eclipse Plug-in erleichtert zudem die Anwendungsentwicklung durch einen Projekt-Wizard, Templates (HTML/JS Scaffolding) und eine Exportfunktion.

Weshalb nutzt Ihr Docker?

Eric Le Blouc’h: Wir wollten dazu in der Lage sein, zu Testzwecken schnell mit einer frischen HBase-Installation zu starten. Zuerst haben wir einen VM Snapshot verwendet, aber es war ziemlich ärgerlich, die VM immer wieder vor einem Test neu zu starten. Docker bietet diese Funktionalität „Out of the Box“.

HFactory enthält nun einen HBase Server in einem Docker Container, der zum Testen der HFactory-Anwendungen genutzt wird. Wenn ein Neustart gewünscht ist, muss man jetzt nur vom Image aus neu starten.

Nutzt Ihr Docker also nur zum Testen?

Eric Le Blouc’h: Nein, das war nur der erste Schritt. Bald darauf wollten wir das Deployment Feature verwenden, das dem User eine einfache Möglichkeit bietet, die Applikation zu deployen und zu aktualisieren. Daher liefern wir jetzt hauptsächlich mit Docker aus. Um Bigtable zu nutzen, ist das auch die empfohlene Deployment-Methode.

Mit Plug-ins wie dem SBT Native Packager ist es einfach, Images innerhalb des Continuous-Integration-Prozesses zu erstellen, was den Release-Prozess sehr erleichtert.

Mit der Veröffentlichung der Docker Machine haben wir das Pre-Production Deployment vereinfacht, indem wir den HBase und HFactory Server miteinander verbunden haben, um Testen auch außerhalb des HFactory-Studios zu ermöglichen.

Wie ist der aktuelle Stand bei HFactory?

Eric Le Blouc’h: HFactory ist voll funktional, die aktuelle Version ist 1.2.10. Wir verwenden sie bereits in einigen Projekten. HFactory soll ab der Serie 1.3.x produktionsreif sein.

Was sind Eure nächsten Schritte mit HFactory?

Eric Le Blouc’h: Wir arbeiten derzeit in der 1.3.x-Serie an einer weiteren Vereinfachung der Entwicklung, der Skalierbarkeit der Plattform und der Erstellung neuer, vertikaler Lösungen für einen noch schnelleren Start. Wir planen außerdem, die Anwendungsentwicklung auch für Nicht-Entwickler möglich zu machen. Hier sind wir aber noch in einem frühen Stadium  – mehr dazu kann ich Euch in Kürze sagen.

Vielen Dank für dieses Interview! 

Eric Le Blouc’h is a co-founder at Ubeeko and leads the development and packaging of the HFactory platform. He has more than 10 years experience in the development of data-intensive software solutions in the fields of text and data mining, cloud storage and cryptography. An experienced Java and Scala developer, Eric is a graduate from the ENSTA ParisTech French „Grande Ecole“ and holds an MSc in algorithmics.
Geschrieben von
Kommentare

Hinterlasse einen Kommentar

avatar
4000
  Subscribe  
Benachrichtige mich zu: