Neues Big Data Framework von Microsoft basiert auf Hadoop YARN

Seit kurzem ist YARN Teil des Hadoop-Projektes und ermöglicht, mehrere Typen von Jobs in einem einzigen Cluster zu verwalten. Aber einige Typen haben spezielle Anforderungen was Datenbewegungen, Task Monitoring und die Iteration vorheriger Ergebnisse anbelangt. Genau hier soll Microsofts neue Big-Data-Technologie ansetzen, die auf dem neuen YARN Ressourcen-Manager von Hadoop basiert.

Mit Hilfe des Frameworks namens REEF (kurz für Retainable Evaluator Execution Framework) können Nutzer Jobs erstellen, die ihren Status auch nach Abschluss behalten und die ihre Daten von praktisch überall ziehen können. Dabei besteht das Framework aus zwei Teilen: Evaluators sind YARN-Container, die REEF Services enthalten, Activities bestehen aus User Code, der im Evaluator läuft.

Microsoft Technical Fellow und CTO of Information Services Raghu Ramakrishnan kündigte am Montag auf der International Conference for Knowledge Mining and Data Discovery in Chicago an, dass Microsoft sein neues Framework in einem Monat Open Source bereit stellen möchte.

Kommentare

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.