Natural Language Generation mit BERT: Vom Papier zum Produkt

BERT ist ein hochmodernes Modell der natürlichen Sprachverarbeitung (NLP), das ein Pre-Training an unmarkierten Textdaten und später die Übertragung des Trainings auf eine Vielzahl von NLP-Aufgaben ermöglicht. Aufgrund seiner vielversprechenden neuartigen Ideen und seiner beeindruckenden Leistung haben wir es als Kernkomponente für ein neues Produkt mit natürlicher Spracherzeugung ausgewählt. Ein Paper zu lesen, vielleicht einem Tutorial mit Beispielcode zu folgen und ein funktionsfähiges Softwareprodukt in die Produktion zu bringen, sind jedoch völlig verschiedene Dinge.

In diesem Talk von der ML Conference 2019 erklärt Christoph Henkelmann, wie er eine maßgeschneiderte Version des BERT-Netzwerks trainiert und in eine Anwendung zur Erzeugung natürlicher Sprache (NLG) integriert hat. Der Speaker erklärt, warum die Wahl für das Projekt auf BERT fiel und welche anderen Ansätze ausprobiert wurden. Außerdem zeigt er eine Reihe von Misserfolgen und Fehlern auf, die dabei passiert sind, geht aber auch auf Überraschungen, Erfolge und Lehren aus dem Projekt ein.

Der Speaker: Christoph Henkelmann
Christoph Henkelmann holds a degree in Computer Science from the University of Bonn. He is currently working at DIVISIO, an AI company from Cologne, where he is CTO and co-founder. At DIVISIO, he combines practical knowledge from two decades of server and mobile development with proven AI and ML technology. In his pastime he grows cacti, practices the piano and plays video games.