Amazon SageMaker Neo wird Open Source

AWS stellt Machine-Learning-Tool Open Source: Neo-AI

Maika Möbus

© shutterstock / sdecoret

AWS hat das Open-Source-Tool Neo-AI auf GitHub veröffentlicht. Es besteht aus dem Quellcode von Amazon SageMaker Neo, einem Teil des Machine-Learning-Service SageMaker, und soll das Deployment von KI-Modellen in IoT-Netzwerken verbessern.

Unter dem Namen Neo-AI hat AWS den Quellcode von Amazon SageMaker Neo auf GitHub veröffentlicht. Das Open-Source-Tool soll dazu dienen, KI-Modelle für das Deployment auf multiplen Plattformen zu optimieren, besonders auf Edge Devices.

Machine Learning auf Edge Devices

Wer Machine-Learning-Modelle auf verschiedenen Hardware-Plattformen einsetzen möchte, steht typischerweise vor der Aufgabe, die Modelle manuell auf die jeweilige Hardware- und Software-Konfiguration anzupassen. Vor allem für ressourcenbeschränkte Geräte in einem IoT-Netzwerk stellt dies eine Herausforderung dar, da aufgrund der limitierten Hardware nicht beliebig große bzw. komplexe Modelle performant betrieben werden können.

Hier setzt Neo-AI ein. Das Projekt besteht zum einen aus einem Compiler, der Machine-Learning-Modelle in ein effizientes Format umwandelt. Auf den Zielgeräten wird zum anderen eine kompakte Laufzeitumgebung installiert, in der die optimierten Modelle betrieben werden können.

Neo-AI kann mit KI-Modellen umgehen, die mithilfe der Frameworks und Algorithmen von TensorFlow, MXNet, PyTorch, ONNX und XGBoost erstellt wurden. Die Modelle sollen bis zur zweifachen Geschwindigkeit optimiert werden, ohne dadurch an Genauigkeit zu verlieren. Die unterstützten Hardware-Architekturen sind Intel-, Nvidia- und ARM-Chips. Der Support für Cadence, Qualcomm und Xilinx befindet sich in Vorbereitung.

Neo-AI: Open-Source-Version von Amazon SageMaker Neo

Durch die Veröffentlichung von Neo-AI sollen Entwickler die Möglichkeit erhalten, die für SageMaker Neo entwickelten Funktionen in eigenen Projekten zu nutzen. Hardware-Hersteller sollen zudem in die Lage versetzt werden, das Projekt an ihre Prozessoren und Devices anzupassen.

SageMaker Neo wurde mit dem Ziel entwickelt, ein Machine-Learning-Modell nach nur einmaligem Trainieren in verschiedenen Bereichen einsetzen zu können, sei es in der Cloud oder in Edge Devices. Dem AWS-Blog zufolge wird das Tool Neo-AI Entwicklern als Open Source zugänglich gemacht, um Innovationen beschleunigen und Machine Learning auf vielen Plattformen einsetzen zu können.

Neo-AI baut auf jahrzehntelanger Forschung an traditionellen Compiler-Technologien wie LLVM und Halide auf. Es verwendet die Compiler TVM und Treelite, die als Open-Source-Projekte an der University of Washington entstanden. Neo-AI enthält eine TVM-Version, um Deep-Learning-Modelle zu kompilieren, und Treelite, um Entscheidungsbaum-Modelle zu kompilieren. Daneben sind weitere plattformspezifische Anpassungen durch verschiedene Mitwirkende und eine gemeinsame Laufzeit für kompilierte Modelle enthalten.

Weitere Details zu Amazon SageMaker

SageMaker Neo ist ein Bestandteil von Amazon SageMaker. Dabei handelt es sich um einen Machine-Learning-Dienst von AWS, mithilfe dessen skalierbare Algorithmen trainiert werden können. Amazon CTO Werner Vogels stellt das Projekt auf unserem Schwesterportal JAXenter.de ausführlich vor. Durch Streaming soll das Trainieren der Algorithmen besonders effizient ablaufen, denn laut Werner Vogels seien Streaming-Algorithmen „praktisch unendlich skalierbar und können aus diesem Grund eine unbestimmte Menge an Daten konsumieren“.

Weitere Informationen zum Tool Neo-AI sind im AWS Machine Learning Blog nachzulesen. Auf dem GitHub-Repository steht es zum Download bereit.

Geschrieben von
Maika Möbus
Maika Möbus
Maika Möbus ist seit Januar 2019 Redakteurin bei Software & Support Media. Zuvor studierte sie Soziologie an der Goethe-Universität Frankfurt und an der Johannes Gutenberg-Universität Mainz.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu: