Serving-System für Modelle des maschinellen Lernens

TensorFlow Serving: Maschinelles Lernen für den Produktiveinsatz

Michael Thomas

© Shutterstock.com/pogonici

Um das maschinelle Lernen voranzutreiben, hat Google bereits im vergangenen Jahr das Machine-Learning-System TensorFlow quelloffen zur Verfügung gestellt. Nun wurde auch das Serving-System TensorFlow Serving quelloffen gemacht. Mit ihm sollen Dienste, die auf Modellen des maschinellen Lernens basieren, optimiert werden.

Mit TensorFlow Serving hat Google ein neues quelloffenes Projekt veröffentlicht, das Entwickler dabei unterstützten soll, ihre Modelle maschinellen Lernens erfolgreich in die Produktion einzubringen. TensorFlow Serving ist zwar für den Einsatz mit TensorFlow – Googles Flussgraphen nutzende Softwarebibliothek für numerische Berechnungsmodelle – optimiert, soll sich nach Aussagen des Unternehmens allerdings auch dahingehend erweitern lassen, andere Modelle und Daten zu unterstützen.

Im Gegensatz zu TensorFlow und ähnlichen Projekten, die dem Entwerfen neuer Algorithmen für maschinelles Lernen dienen, zielt TensorFlow Serving darauf ab, entsprechende Modelle für Produktionsumgebungen fit und nutzbar zu machen; d. h. Entwickler „trainieren“ ihre Modelle mithilfe von TensorFlow und verwenden anschließend das API von TensorFlow Serving, um auf die Eingaben von Clients zu reagieren.

Entwickler sollen ihre Modelle dank TensorFlow Serving nicht nur schneller in die Produktion bringen können, sondern darüber hinaus auch in die Lage versetzt werden, mit verschiedenen Algorithmen und Modellen zu experimentieren, ohne auf eine stabile Architektur und ein stabiles API verzichten zu müssen. Des Weiteren soll im Fall von Änderungen am Modell oder des Outputs der Rest der Architektur ebenfalls stabil bleiben.

TensorFlow Serving ist in C++ geschrieben und legt nach Googles Aussagen besonderen Wert auf den Performanceaspekt: So soll es beispielsweise auf einer Xeon-Maschine mit 16 Kernen pro Kern 100 000 Abfragen pro Sekunde abwickeln können. Der TensorFlow-Serving-Code ist über GitHub verfügbar und steht unter Apache-2.0-Lizenz.

Aufmacherbild: Thinking Mechanism von shutterstock.com / Urheberrecht: pogonici

Geschrieben von
Michael Thomas
Michael Thomas
Michael Thomas studierte Erziehungswissenschaft an der Johannes Gutenberg-Universität Mainz und arbeitet seit 2013 als Freelance-Autor bei JAXenter.de. Kontakt: mthomas[at]sandsmedia.com
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: