Von Datenwissenschaftlern getestet und freigegeben

Netflix stellt Framework Metaflow mit AWS Integration Open Source

Katharina Degenmann

© shutterstock / Pe3k

Der Streaming-Anbieter Netflix hat sein eigens entwickeltes Python-Framework Metaflow Open Source zur Verfügung gestellt. Mit dem Framework soll das Erstellen und Verwalten von Data-Sciene-Projekten einfacher von der Hand gehen.

Metaflow ist ein auf Python basierendes Framework für den Anwendungsbereich Data Science, das darauf abzielt, Machine-Learning-Modelle schneller in der Produktion einsetzen zu können.

Metaflow stellt sich vor

Metaflow soll es Datenwissenschaftlern erleichtern, Machine-Learning-Modelle schnell zu bauen und zu testen, ohne sich über Technik und Infrastruktur Gedanken machen zu müssen. Dem Design nach ist das Framework eine Python-Library, die die Ausführung von DAGs (directec acyclic graph) aus beliebigem Python-Code ermöglicht.

Quelle: Medium

Daher ähnelt Metaflow anderen Frameworks, wie z.B. Apache Airflow oder Luigi. Allerdings läge der Vorteil des Netflix-Frameworks im geringeren kognitiven Aufwand.

Metaflow jetzt Open Source

Ursprünglich wurde das Framework im Hause Netflix entwickelt, um die Produktivität von Datenwissenschaftlern zu steigern, die an einer Vielzahl von Projekten arbeiten – von der klassischen Statistik bis zum modernen Deep Learning. So werden etwa Daten und Modelle als normale Python-Instanzvariablen gespeichert. Außerdem verfügt Metaflow über einen eingebauten Artifact Store, was das aufwendige Verwalten von Artefakten vereinfachen soll.

Metaflow ist ein cloud-natives Framework. Es nutzt die Elastizität der Cloud durch Design – sowohl für die Berechnung als auch für die Speicherung. Netflix ist seit vielen Jahren einer der größten Nutzer von Amazon Web Services (AWS), weshalb auch Metaflow mit AWS zusammengeschlossen wurde, um eine nahtlose Integration zwischen Metaflow und verschiedenen AWS-Diensten zu ermöglichen. Zudem verfügt das Framework über eine integrierte Funktion, um alle Codes und Daten in Amazon S3 automatisch zu erfassen. Darüber hinaus wird Metaflow mit einem leistungsstarken S3-Client ausgeliefert, der Daten bis zu 10 Gbps laden kann.

Alle weiteren Informationen zu Metaflow stehen auf dem Medium-Blog zum Nachlesen bereit.

Geschrieben von
Katharina Degenmann
Katharina Degenmann
Katharina ist hauptberuflich hilfsbereite Online- und Print-Redakteurin sowie Bücher- und Filme-Junkie. Nebenbei ist sie Möchtegern-Schriftstellerin, die heimlich hofft, eines Tages ihr Geld als Kaffee-Testerin zu verdienen. Seit Februar 2018 arbeitet sie als Redakteurin bei der Software & Support Media GmbH, davor hat sie Politikwissenschaft und Philosophie studiert.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: