Was bietet das neue API?

TensorFlow Optimierung: Pruning API für Machine-Learning-Modelle vorgestellt

Florian Roos

© Shutterstock / Kunst Bilder

Mit dem TensorFlow Pruning API hat Google ein weiteres Werkzeug zur Optimierung von Machine-Learning-Modellen vorgestellt. Das auf Keras aufbauende API ist Googles erstes Optimierungstool, welches schon in der Trainingsphase eingesetzt werden kann.

Google hat sein erstes im Training von Machine-Learning (ML)-Modellen verwendbares Optimierungs-Tool für TensorFlow vorgestellt: das TensorFlow Pruning API. Es basiert technisch auf Keras und soll daher auch leicht in bestehende Projekte mit Keras eingebunden werden können.

Was ist Pruning?

Pruning bedeutet etwa soviel wie zurechtstutzen, womit bereits recht treffend beschrieben ist, was das API mit ML-Modellen anstellt. Ein Algorithmus bewertet während des Trainings eines Modells die Bedeutung der Verbindungen zwischen dessen verschiedenen Ebenen. Als unwichtig oder komplett irrelevant identifizierte Verbindungen werden mit dem Wert 0 gewichtet und aus dem Netzwerk entfernt. Auf diese Art wird die zum Abspeichern nötige Kapazität reduziert. Während der Nutzung des Modells wird entsprechend auch weniger Arbeitsspeicher benötigt, die Anzahl der erforderlichen CPU-Operationen sinkt ebenfalls. Da Pruning während des Trainings ansetzt, sollen die Verluste bei der Genauigkeit des Modells vernachlässigbar sein.

ML Conference 2019

Workshop: Machine Learning 101++ using Python

mit Dr. Pieter Buteneers (Chatlayer.ai)

Honey Bee Conservation using Deep Learning

mit Thiago da Silva Alves, Jean Metz (JArchitects)

Verwendung des TensorFlow Pruning API

Der zentrale Algorithmus des API bearbeitet das jeweilige Modell iterativ. Als Parameter kann er Punkte zum Ein- und Ausstieg, den Iterationsintervall oder die gewünschte Sparsity entgegennehmen. Lässt man das Pruning beispielsweise erst relativ spät beginnen oder recht früh enden, steht für den Anfang oder das Ende des Trainings entsprechend die maximale Präzision des Modells zur Verfügung. Zusätzlich kann definiert werden, ob Verbindungen einzeln oder gruppenweise aus dem Modell entfernt werden sollen. Nach jedem Schnitt wird berechnet, ob die angestrebte Sparsity erreicht ist oder nicht.

Weitere Informationen zu geplanten und umgesetzten Optimierungswerkzeugen für TensorFlow-Modelle sowie zum neuen Pruning API können der Roadmap auf der offiziellen Website, dem TensorFlow-Blog und dem neu eingerichteten GitHub-Repository für Optimierungsmaßnahmen entnommen werden.

Geschrieben von
Florian Roos
Florian Roos
Florian Roos ist Redakteur für Software & Support Media. Er hat Politikwissenschaft an der Technischen Universität Darmstadt studiert und erste redaktionelle Erfahrungen in den Bereichen Games und Consumer-Hardware gesammelt.
Kommentare

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
4000
  Subscribe  
Benachrichtige mich zu: