Netflix stellt Framework Metaflow mit AWS Integration Open Source
© shutterstock / Pe3k
Der Streaming-Anbieter Netflix hat sein eigens entwickeltes Python-Framework Metaflow Open Source zur Verfügung gestellt. Mit dem Framework soll das Erstellen und Verwalten von Data-Sciene-Projekten einfacher von der Hand gehen.
Metaflow ist ein auf Python basierendes Framework für den Anwendungsbereich Data Science, das darauf abzielt, Machine-Learning-Modelle schneller in der Produktion einsetzen zu können.
Metaflow stellt sich vor
Metaflow soll es Datenwissenschaftlern erleichtern, Machine-Learning-Modelle schnell zu bauen und zu testen, ohne sich über Technik und Infrastruktur Gedanken machen zu müssen. Dem Design nach ist das Framework eine Python-Library, die die Ausführung von DAGs (directec acyclic graph) aus beliebigem Python-Code ermöglicht.
Quelle: Medium
Daher ähnelt Metaflow anderen Frameworks, wie z.B. Apache Airflow oder Luigi. Allerdings läge der Vorteil des Netflix-Frameworks im geringeren kognitiven Aufwand.
Metaflow jetzt Open Source
Ursprünglich wurde das Framework im Hause Netflix entwickelt, um die Produktivität von Datenwissenschaftlern zu steigern, die an einer Vielzahl von Projekten arbeiten – von der klassischen Statistik bis zum modernen Deep Learning. So werden etwa Daten und Modelle als normale Python-Instanzvariablen gespeichert. Außerdem verfügt Metaflow über einen eingebauten Artifact Store, was das aufwendige Verwalten von Artefakten vereinfachen soll.
Metaflow ist ein cloud-natives Framework. Es nutzt die Elastizität der Cloud durch Design – sowohl für die Berechnung als auch für die Speicherung. Netflix ist seit vielen Jahren einer der größten Nutzer von Amazon Web Services (AWS), weshalb auch Metaflow mit AWS zusammengeschlossen wurde, um eine nahtlose Integration zwischen Metaflow und verschiedenen AWS-Diensten zu ermöglichen. Zudem verfügt das Framework über eine integrierte Funktion, um alle Codes und Daten in Amazon S3 automatisch zu erfassen. Darüber hinaus wird Metaflow mit einem leistungsstarken S3-Client ausgeliefert, der Daten bis zu 10 Gbps laden kann.
Alle weiteren Informationen zu Metaflow stehen auf dem Medium-Blog zum Nachlesen bereit.
Verwandte Themen:
Loading ...
Ein Interpreter für einen Lisp-Dialekt: Wie man seine eigene Programmiersprache baut – Teil 1
Die Top 5 der Neuerungen in Scala 3: Was uns an Änderungen in der neuen Version erwartet
Per Microframeworks durch die Galaxis: Der schnellste Weg zu modernen Java-Microservices
Kotlin – das bessere Java? Eine Einführung in die moderne Programmiersprache Kotlin
Was passiert mit Implicits? Scala 3 Preview
Java-Tanz: Groovy - lange Tradition, breite Benutzerbasis
Hinterlasse einen Kommentar