Netflix stellt Framework Metaflow mit AWS Integration Open Source

Metaflow ist ein auf Python basierendes Framework für den Anwendungsbereich Data Science, das darauf abzielt, Machine-Learning-Modelle schneller in der Produktion einsetzen zu können.

Metaflow stellt sich vor

Metaflow soll es Datenwissenschaftlern erleichtern, Machine-Learning-Modelle schnell zu bauen und zu testen, ohne sich über Technik und Infrastruktur Gedanken machen zu müssen. Dem Design nach ist das Framework eine Python-Library, die die Ausführung von DAGs (directec acyclic graph) aus beliebigem Python-Code ermöglicht.

Quelle: Medium

Daher ähnelt Metaflow anderen Frameworks, wie z.B. Apache Airflow oder Luigi. Allerdings läge der Vorteil des Netflix-Frameworks im geringeren kognitiven Aufwand.

Metaflow jetzt Open Source

Ursprünglich wurde das Framework im Hause Netflix entwickelt, um die Produktivität von Datenwissenschaftlern zu steigern, die an einer Vielzahl von Projekten arbeiten – von der klassischen Statistik bis zum modernen Deep Learning. So werden etwa Daten und Modelle als normale Python-Instanzvariablen gespeichert. Außerdem verfügt Metaflow über einen eingebauten Artifact Store, was das aufwendige Verwalten von Artefakten vereinfachen soll.

Metaflow ist ein cloud-natives Framework. Es nutzt die Elastizität der Cloud durch Design – sowohl für die Berechnung als auch für die Speicherung. Netflix ist seit vielen Jahren einer der größten Nutzer von Amazon Web Services (AWS), weshalb auch Metaflow mit AWS zusammengeschlossen wurde, um eine nahtlose Integration zwischen Metaflow und verschiedenen AWS-Diensten zu ermöglichen. Zudem verfügt das Framework über eine integrierte Funktion, um alle Codes und Daten in Amazon S3 automatisch zu erfassen. Darüber hinaus wird Metaflow mit einem leistungsstarken S3-Client ausgeliefert, der Daten bis zu 10 Gbps laden kann.

Alle weiteren Informationen zu Metaflow stehen auf dem Medium-Blog zum Nachlesen bereit.