Natural Language Generation mit BERT: Vom Papier zum Produkt

Was ist BERT und wie setzt man BERT ein, um ein Produkt mit natürlicher Spracherzeugung zu bauen? Diese Fragen beantwortet Christoph Henkelmann in diesem Talk von der ML Conference.
BERT ist ein hochmodernes Modell der natürlichen Sprachverarbeitung (NLP), das ein Pre-Training an unmarkierten Textdaten und später die Übertragung des Trainings auf eine Vielzahl von NLP-Aufgaben ermöglicht. Aufgrund seiner vielversprechenden neuartigen Ideen und seiner beeindruckenden Leistung haben wir es als Kernkomponente für ein neues Produkt mit natürlicher Spracherzeugung ausgewählt. Ein Paper zu lesen, vielleicht einem Tutorial mit Beispielcode zu folgen und ein funktionsfähiges Softwareprodukt in die Produktion zu bringen, sind jedoch völlig verschiedene Dinge.
In diesem Talk von der ML Conference 2019 erklärt Christoph Henkelmann, wie er eine maßgeschneiderte Version des BERT-Netzwerks trainiert und in eine Anwendung zur Erzeugung natürlicher Sprache (NLG) integriert hat. Der Speaker erklärt, warum die Wahl für das Projekt auf BERT fiel und welche anderen Ansätze ausprobiert wurden. Außerdem zeigt er eine Reihe von Misserfolgen und Fehlern auf, die dabei passiert sind, geht aber auch auf Überraschungen, Erfolge und Lehren aus dem Projekt ein.

Hinterlasse einen Kommentar