MorphNet verfeinert neuronale Netze

Machine Learning: TensorFlow-Erweiterung MorphNet ist jetzt Open Source

Florian Roos

© Shutterstock / kkssr

Google stellt die TensorFlow-Implementierung von MorphNet Open Source zur Verfügung. Dabei handelt es sich um ein Tool zur Verbesserung tiefer neuronaler Netze. Es erlaubt die Anpassung der Netz-Architektur an neue oder veränderte Anforderungen.

MorphNet soll es Entwicklern und Forschern ermöglichen, die bestehende Struktur eines tiefen neuronalen Netzes (Deep Neural Network / DNN) an andere Bedingungen anzupassen, indem es sie analysiert und danach optimiert. Die TensorFlow-Implementierung des Tools steht jetzt quelloffen für jedermann bereit. Eine Optimierung eines DNN für veränderte Bedürfnisse kann die zu seiner Ausführung benötigte Rechenleistung, seine Größe oder die Latenz reduzieren.

Das Team hinter dem Tool illustriert die möglichen Leistungsgewinne anhand des zu TensorFlow gehörenden und vorab mit dem Datensatz ImageNet trainierten Modells Inception V2. Die Verwendung von MorphNet soll demnach die benötigte Rechenleistung bei gleichbleibender Genauigkeit des Modells um mehr als zehn Prozent verringern.

Wie funktioniert MorphNet?

Das Tool verändert den Aufbau eines DNN in zwei Phasen:

  • Die Schrumpfung: In dieser Phase analysiert MorphNet die Struktur eines gegebenen Netzes und bewertet die Effizienz der einzelnen Neuronen darin mit Hilfe einer Kostenfunktion. Die Kostenfunktion orientiert sich dabei am zu optimierenden Kriterium. Als ineffizient bewertete Neuronen werden aus dem Netz entfernt. Bricht man den Vorgang an dieser Stelle ab, wird das DNN zwar effizienter, verliert jedoch möglicherweise an Genauigkeit.
  • Die Erweiterung: Nachdem ineffiziente Neuronen aus allen Ebenen des DNN entfernt wurden, folgt eine Erweiterung des Netzes. MorphNet erweitert alle Schichten des Netzes um einen identischen Faktor. Effiziente Schichten, aus denen weniger Neuronen entfernt wurden, gewinnen so verhältnismäßig an Größe. Die Erweiterung fällt geringer aus als die Schrumpfung, sodass trotz erhöhter Effizienz und gleichbleibender Genauigkeit eine Ressourceneinsparung erzielt wird.

Die jetzt zugänglich gemachte TensorFlow-Implementierung von MorphNet steht unter Apache-2.0-Lizenz, weitere Informationen stehen auf dem Google-AI-Blog sowie im Repository auf GitHub bereit. Darüber hinaus bietet ein entsprechendes Paper vertiefende Hintergrundinformationen, hieran haben auch Mitglieder des MorphNet-Teams mitgewirkt.

Geschrieben von
Florian Roos
Florian Roos
Florian Roos ist Redakteur für Software & Support Media. Er hat Politikwissenschaft an der Technischen Universität Darmstadt studiert und erste redaktionelle Erfahrungen in den Bereichen Games und Consumer-Hardware gesammelt.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: