TensorFlow 1.9 veröffentlicht: GRU- und LSTM-Implementierung mit cuDNN

Bugfixes, Breaking Changes und neue Features: TensorFlow 1.9 ist kein kleines Release mit wenigen Neuerungen, sondern eine ausgewachsene neue Version für die Deep-Learning-Bibliothek. Wie den Release Notes auf GitHub zu entnehmen ist, können zwei Neuerungen unmittelbar zu Problemen mit vorhandenen Implementierungen führen: Wer Variablen mit leerem Scope öffnen möchte, muss nun variable_scope(tf.get_variable_scope(), ...) verwenden, nicht mehr variable_scope('', ...). Header für das Erstellen von Custom Ops finden sich nun außerdem in an folgendem Speicherort: site-packages/tensorflow/include/external. Vorher waren sie unter site-packages/external zu finden.

TensorFlow 1.9: Deprecations & neue cuDNN-Layer

Das sind die einzigen explizit als Breaking Changes benannten Neuerungen. Betrachtet man aber die Liste der weiteren Änderungen an TensorFlow 1.9, finden sich auch dort einige Hinweise auf Neuigkeiten, die bestehende Projekte betreffen. So wurde tfe.Network deprecated; eine Inheritance muss nun von tf.keras.Model erfolgen.

Was ist sonst noch neu? Die Release Notes auf GitHub benennen eine Reihe wichtiger neuer Features und Verbesserungen als Highlights des Release. Dazu gehört, dass tf.keras auf das Keras API v2.1.6 aktualisiert wurde. Neu sind außerdem die Implementierung von GRU und LSTM auf Basis von cuDNN. cuDNN gilt als besonders schnelle Neural-Network-Library und kann nur auf GPUs ausgeführt werden. Für die beiden neuen cuDNN-Layer steht ein Trainingsdatensatz zum Testen zur Verfügung.

Neue Docs für Keras mit TensorFlow 1.9

Das Python-Interface für den TFLite Optimizing Converter wurde außerdem erweitert und umfasst nun wieder standardmäßig das CLI. Für das Laden von Daten und die Sprachverarbeitung bringt TensorFlow 1.9 drei neue Optionen mit: tf.decode_compressed, tf.string_strip, tf.strings.regex_full_match. Außerdem sind ein experimenteller Support für vorgefertigte Estimators dabei, sowie eine Erweiterung für das distributions.Bijector-API, das nun Broadcasting für Bijectors unterstützt. Zu den Highlights im Release gehören laut Release Notes daneben das Update der Docs für tf-keras und der neue Support für Core Feature Columns und Loss-Operationen an Gradient Boosted Tree Estimators.

Einen Überblick über alle Neuerungen, Breaking Changes und Bugfixes in TensorFlow 1.9 geben die Release Notes auf GitHub.

Applying Machine Learning online at Scale

by Jon Bratseth (Verizon)

Multi Tasking Deep Learning for Natural Language Processing – Transfer Learning

by Debjyoti Paul (Amazon)